![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓项目
qq_42506914
这个作者很懒,什么都没留下…
展开
-
关于flume的拦截器
项目中我们需要对一个数据源读取到的数据,我们希望能够进到不同的channel,那么我们需要source的selectors和interceptors。 选择器默认使用的是replcation ,是复制模式,进入每个channel的数据都一样,这里我们选用 multiplexing 此项目拦截器我们使用了2个,一个ETL来过滤不合法数据,一个用来给数据添加头信息,头信息是一个k-v键值对,sel...原创 2019-03-28 08:32:05 · 312 阅读 · 0 评论 -
关于通过ssh后台脚本启动几台主机的flume
脚本1 #!/bin/bash case $1 in "start"){ for i in hadoop101 hadoop102 do echo "---------正在启动 $i 的flume---------------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -f /opt/module/flume/c...原创 2019-03-28 09:00:44 · 467 阅读 · 0 评论 -
数仓项目kafka-hdfs
## 组件 a1.sources=r1 r2 a1.channels=c1 c2 a1.sinks=k1 k2 ## source1 a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.r1.batchSize = 5000 a1.sources.r1.batchDurationMillis = 2...原创 2019-03-28 09:08:08 · 485 阅读 · 0 评论