![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
Hi Xiu Hui
这个作者很懒,什么都没留下…
展开
-
获取MBean的客户端,开启基于JMX的监控服务
1 基于JCONSOLE查看MBean①开启基于报告的JMX服务在conf/flume.env.sh中进行配置(注意:**参数不能跨行写!最好不要出现换行,如果要换行,加上 **)export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.manage...原创 2020-03-14 10:34:55 · 453 阅读 · 0 评论 -
Flume中Multiplexing Channel Selector(分类选择器)的使用
1.需求: 在102机器启动agent1(netcatsource—memorychannel—avrosink) agent2(execsource—memorychannel—avrosink) 在103机器启动agent3( avrosouce---- 2 memorychannel—2sink(loggersink,hdfssink)) logg...原创 2020-03-13 18:57:50 · 1134 阅读 · 1 评论 -
关于Flume的事务介绍
Flume事务总结1.概念1.1 事务的介绍 flume中的事务和关系型数据库中的事务是不同的,只是名称一样! Flume中的事务代表的是一批要以原子性写入到channel或要从channel中移除的events! Flume在设计时,采取的是at least once语义!因此在没有故障时,flume只会写入一次数据!但是,如果遇到sink端的超时或写入文件系统失败等异常...原创 2020-03-13 12:02:39 · 941 阅读 · 0 评论 -
Flume集群配置故障转移,踩过的坑
1.需求 体会SinkProcessor,场景就是多个sink同时从一个channel拉取数据!Agent1: netcatsource----memorychannel-----2AvroSink (hadoop102)Agent2: ArvoSource----memorychannel-----loggersink (103)Agent3: ArvoSource----memo...原创 2020-03-12 10:27:05 · 383 阅读 · 0 评论