flume
萌萌哒的理工男
我谁也没等,谁也不会来
展开
-
flume 安装 组件介绍
Flume Flume是一种分布式,可靠且有效的服务,用于有效地收集,汇总和移动大量日志数据 安装 官网:http://flume.apache.org/download.html 1.解压到目录 2.修改配置 cd /opt/app/flume/conf mv flume-env.sh.template flume-env.sh 配置JAVA_HOME 组件 source : 数据源组件,专门...原创 2019-09-21 22:21:18 · 159 阅读 · 0 评论 -
flume hdfs sink 配置
flume里关于hdfs的sink配置: 属性 描述 type hdfs path hdfs的路径,需要包含文件系统标识,比如:hdfs://flume/events/dt=%y-%m-%d filePrefix 默认值:FlumeData,写入hdfs的文件名前缀 fileSuffix 写入 hdfs 的文件名后缀,比如:.lzo .log等 inUsePrefi...原创 2019-09-21 22:23:00 · 567 阅读 · 0 评论 -
flume 基础案例
exec -->memory -->logger 监控本地文件,输出到logger 为了方便起见,将hive的日志文件作为输入源 flume agent启动→启动hive→观察agent变化 #定义source|channel|sink组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #配置r1的属性 a1.sources.r1.ty...原创 2019-09-21 22:23:45 · 362 阅读 · 0 评论