- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 java实现+hadoop工业大数据相关项目实践(一)
一、问题描述：1）随着各类数据、日志的迅速增长，无论在互联网、医学还是工业领域，普通的计算机存储空间不易扩展，数据易丢失等问题也越来越凸显，这也正是目前大数据技术在互联网、医学、工业方面应用越来越多的原因。本人硕士生一枚，针对研究课题也遇到了类似的问题：所用的采集传感器灵敏度每对每秒可采集1000万个事件，那么数十对传感器经过长时间的采集，单次实验获取的数量非常大，常常达到上百G，针对传统的借...
2018-08-31 20:52:22
4810
1
原创 Hadoop:本地文件（window系统）定时获取文件并上传至HDFS文件(两个虚拟机)系统 Java 实现
实现功能：定时日志采集并上传至HDFS文件系统的Java API实现环境+工具：windows + 虚拟机Centos * 2 + eclipse + windows下编译的Hadoop jar包 + Hadoop集群一、流程 1）启动一个定时任务,规划各种路径——定时探测日志源目录 (本地目录) F:/logs/get_log/ ；——获取需要采集...
2018-08-24 11:26:11
2248
原创 Windows环境下pycharma导入naconda（提供百度网盘下载）
首先，为什么会选择这种方式进行数据分析环境的搭建，主要原因有3个：Pycharm可称为python开发最好用的工具，其安装各种库也是非常的简单。但是由于numpy、scipy、matplotlib、pandas等库存在依赖关系，相应的版本经常无法很好的选择而常常无法使用。 Anaconda内部集成了许多有用的库，并且易于安装管理，出现问题的几率大大下降。 在实验中，曾经在Pycharm各自...
2018-07-19 21:25:13
1529
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人