![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
数据僧人
略懂爬虫,数据分析,spark/hadoop大数据开发
展开
-
Spark Streaming监控HDFS目录失败的原因(已解决)
我因为做毕设需要用到大数据的一些东西,我用sqoop增量读取mysql数据库的数据,然后写入hdfs文件系统,于是想用Spark Sreaming监控HDFS文件目录,可以实时读取HDFS文件目录新增加的数据,通过Spark处理读取的数据。 所以前期就调试Spark Streaming监控hdfs文件目录,可是出现了一个奇怪的问题。我在另外一台电脑上可以跑通,但是在笔记本上就跑不通。而...原创 2019-05-03 16:13:10 · 1557 阅读 · 2 评论 -
用spark streaming实时读取hdfs数据并写入elasticsearch中
1.首先用sqoop将mysql数据定时导入到hdfs中,然后用spark streaming实时读取hdfs的数据,并把数据写入elasticsearch中。代码如下------bigdata.project.spark----------package bigdata.project.sparkimport org.apache.spark.{SparkConf, SparkContex...原创 2019-06-11 20:44:29 · 3806 阅读 · 1 评论