- 博客(3)
- 资源 (2)
- 收藏
- 关注
原创 java实现+hadoop工业大数据相关项目实践(一)
一、问题描述:1)随着各类数据、日志的迅速增长,无论在互联网、医学还是工业领域,普通的计算机存储空间不易扩展,数据易丢失等问题也越来越凸显,这也正是目前大数据技术在互联网、医学、工业方面应用越来越多的原因。本人硕士生一枚,针对研究课题也遇到了类似的问题:所用的采集传感器灵敏度每对每秒可采集1000万个事件,那么数十对传感器经过长时间的采集,单次实验获取的数量非常大,常常达到上百G,针对传统的借...
2018-08-31 20:52:22 4830 1
原创 Hadoop:本地文件(window系统)定时获取文件并上传至HDFS文件(两个虚拟机)系统 Java 实现
实现功能:定时日志采集并上传至HDFS文件系统的Java API实现环境+工具:windows + 虚拟机Centos * 2 + eclipse + windows下编译的Hadoop jar包 + Hadoop集群一、流程 1)启动一个定时任务,规划各种路径——定时探测日志源目录 (本地目录) F:/logs/get_log/ ;——获取需要采集...
2018-08-24 11:26:11 2259
原创 Windows环境下pycharma导入naconda(提供百度网盘下载)
首先,为什么会选择这种方式进行数据分析环境的搭建,主要原因有3个:Pycharm可称为python开发最好用的工具,其安装各种库也是非常的简单。但是由于numpy、scipy、matplotlib、pandas等库存在依赖关系,相应的版本经常无法很好的选择而常常无法使用。 Anaconda内部集成了许多有用的库,并且易于安装管理,出现问题的几率大大下降。 在实验中,曾经在Pycharm各自...
2018-07-19 21:25:13 1543
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人