HDFS
文章平均质量分 78
wangjinming1976
IT老民工
展开
-
在clouder manager中使用Flume处理数据链
目标: 在Cloudera Manager中创建两个Flume的Agent,Agent1从local file中获取内容,写入到kafka的队列中。Agent2以Agent1的sink作为source,将数据从kafka中读取出来,写入到HDFS中。 注意 我的Cloudera Manager使用的是CDH5.8的Parcel,在这个版本中,Kafka使用的是0.9.原创 2016-12-06 15:02:59 · 5337 阅读 · 1 评论 -
ES-Hadoop学习之ES和HDFS数据交换
ES作为强大的搜索引擎,HDFS是分布式文件系统。ES可以将自身的Document导入到HDFS中用作备份,ES也可以将存储在HDFS上的结构化文件导入为ES的中的Document。而ES-Hadoop正是这两者之间的一个connector 1,将数据从ES导出到HDFS 1.1,数据准备,在ES中创建Index和Type,并创建document。在我的例子中,Index是my原创 2017-09-01 15:44:57 · 23211 阅读 · 0 评论