flume
如初⁰
以梦为马
展开
-
解决flume采集文件写不到hdfs里面问题
困惑了我一晚上的问题,终于解决了!!!Flume监听整个目录在我新建的.conf文件里面,需要配置hdfs的路径hdfs://192.168.122.20:8020/flume/upload/%Y%m%d/%H注意:此处端口号应该和hadoop下的core-site.xml里面的配置一样,否则写入不到Hdfs,这里最为致命然后,开启flume先听端口问题解决...原创 2019-03-03 23:27:42 · 8300 阅读 · 7 评论 -
Flume框架(基础)
一、Flume在集群中扮演的角色Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时查询。二、Flume框架简介1、Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Unix环境下运行。2、Flume基于流式架构,容错性强,也很灵活简单,主要用于在线实时分析。3、角色1)S...原创 2019-02-21 23:28:01 · 321 阅读 · 0 评论