![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
IT菜籽U
当你发现自己的才华撑不起野心时,就请安静下来学习吧
展开
-
spark流式读取hdfs中数据
#spark-shell scala> spark: 一:流式读取数据 即是不间断实时访问读取数据 import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ val ssc原创 2016-11-04 16:56:32 · 9640 阅读 · 5 评论 -
flume采集本地数据到hdfs
配置: agent1.sources = spooldirSource agent1.channels = fileChannel agent1.sinks = hdfsSink agent1.sources.spooldirSource.type=spooldir agent1.sources.spooldirSource.spoolDir=/opt/flume agent1.s原创 2016-08-30 19:34:20 · 6465 阅读 · 0 评论