hdfs
IT菜籽U
当你发现自己的才华撑不起野心时,就请安静下来学习吧
展开
-
spark流式读取hdfs中数据
#spark-shellscala>spark:一:流式读取数据 即是不间断实时访问读取数据import org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._ val ssc原创 2016-11-04 16:56:32 · 9660 阅读 · 5 评论 -
flume采集本地数据到hdfs
配置:agent1.sources = spooldirSourceagent1.channels = fileChannelagent1.sinks = hdfsSinkagent1.sources.spooldirSource.type=spooldiragent1.sources.spooldirSource.spoolDir=/opt/flumeagent1.s原创 2016-08-30 19:34:20 · 6470 阅读 · 0 评论