flume
zengxianglei
曾经 年少 爱追梦, 一心 只想 往前飞 。。。
展开
-
flume 企业中的实例案例 默认拦截器
flume 企业中的实例案例案例场景:A、B 两台日志服务机器实时生产日志主要类型为 access.log、nginx.log、web.log需求:把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上然后统一收集到 hdfs 中。但是在 hdfs 中要求的目录为:/source/logs/access/20160101/**/sou...原创 2019-04-14 12:40:04 · 391 阅读 · 0 评论 -
flume 的负载均衡(load-balance)和容错(机制)
flume 的负载均衡(load-balance)和容错(机制)学习前 先了解一下企业中可能遇见的一个问题:spooldir 监控的目录文件 有重复名的话会报错且罢工!在企业中如何控制文件的产生 文件名不同 我们20150109-01.log【我们文件名产生前用时间控制文件名 年月日小时 每一个小时的数据存储在一个文件中。这样就保证了 数据源文件名的不重复。如何模拟一个不断变化的文件。 ...原创 2019-04-13 22:27:01 · 2032 阅读 · 0 评论 -
flume三个案例
flume 安装 及测试 netcat-logs.confFlume :Flume 安装 上传包 解压到 conf 目录下flume.env.sh 配置 jdk 即可vi netcat-logger.conf定义这个 agent 中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1描述和配置 source 组件:r1a...原创 2019-04-12 20:43:13 · 330 阅读 · 0 评论