Flume
Flume相关
得过且过1223
这个作者很懒,什么都没留下…
展开
-
Flume之JMX监控三种方式
监控作用在flume运行期间,我们可以通过监控channel当前容量和已使用容量来调整channel是否需要扩容通过source向channel中put成功了多少event和sink从channel中take成功了多少个event,比较数据是否存在积压做出调整(通过sink组,和batchsize参数可增加sink读取速度)监控原理通过Java提供的JMX技术(java monitor extension)即 java监控扩展模块,是J2EE定义的14种技术规范之一。JMX可以帮助我们监控一个原创 2020-07-22 21:58:35 · 1250 阅读 · 0 评论 -
Flume自定义source、interceptor、sink
官方文档SourceSinkMaven 依赖<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version></dependency>自定义Source代码import org.apache.flume.Con原创 2020-07-22 19:59:59 · 148 阅读 · 0 评论 -
Flume基础介绍、搭建、入门案例、常用参数
Flume 介绍官方网址架构模型基础架构模型[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yWPIb2o8-1580823341408)(flume/DevGuide_image00.png)]WebServer : 数据源HDFS : 存储源Agent : Flume (代理) 包含3个组件Source : 数据源获取的数据Channel : ...原创 2020-02-04 21:37:32 · 296 阅读 · 0 评论