![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 84
MaggieCN0622
这个作者很懒,什么都没留下…
展开
-
Flume 案例
案例 官网例子 监听localhost机器的44444端口,接收到数据sink到logger终端 example.conf: A single-node Flume configuration 第一步:配置example.conf文件 (如果是本地windows写好再上传到服务器,一定要确认是否为unix格式。方法:vi example.conf : set ff? unix 就是对的) 我的是在flume 文件夹 ## Name the components on this agent原创 2021-09-05 16:40:44 · 411 阅读 · 0 评论 -
Flume 架构
Flume 架构 Flume 架构图 上图是Flume官网最基础的数据流图。后面还会介绍多路复用、拦截等不同配置。 Flume Event 定义 一行文本内容被反序列化成一个event。 event的最大定义为2048字节,超过会被切割放到下一个event中。 event 包含两个 header、body header是一个map,body是一个字节数组 body是真正传输的数据,header传输的数据不会被sink出去。 源码 Event.java (Interface) package or原创 2021-09-03 14:51:41 · 312 阅读 · 0 评论 -
Flume 简介
Flume 简介 官网: http://flume.apache.org/ Flume 可视为数据的搬运工,一般用来收集日志,将日志数据从A->B 优势 官网对Flume的介绍如下: Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and原创 2021-08-30 10:53:09 · 171 阅读 · 0 评论