![](https://img-blog.csdnimg.cn/20200809225239384.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
尚硅谷Flume
喵先生呢
优秀的人哪都好,唯一的缺点是让人觉得自己是个垃圾。
展开
-
9. Flume数据流监控-Ganglia
文章目录Flume数据流监控-Ganglia1. Ganglia的安装与部署2. Ganglia配置3. 操作Flume测试监控☆Flume数据流监控-Ganglia1. Ganglia的安装与部署#安装httpd服务与phpsudo yum -y install httpd php#安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel#安装gangliasud原创 2020-08-11 23:05:38 · 167 阅读 · 0 评论 -
8. Flume技术之自定义Sink
Sink 是完全事务性的。在从 Channel 批量删除数据之前,每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent,Sink 就利用 Channel 提交事务。事务一旦被提交,该Channel 从自己的内部缓冲区删除事件。原创 2020-08-11 21:27:03 · 243 阅读 · 0 评论 -
7. Flume技术之自定义Source
官方提供的 source 类型已经很多,但是有时候并不能满足实际开发当中的需求,此时我们就需要根据实际需求自定义某些 source。自定义MySource 需要继承 AbstractSource 类并实现 Configurable 和 PollableSource 接口,实现相应方法原创 2020-08-11 17:35:27 · 272 阅读 · 0 评论 -
6. Flume企业开发案例-聚合
hadoop 上的 Flume-1 监控文件/opt/module/data/group.log,hadoop101 上的 Flume-2 监控某一个端口的数据流,Flume-1 与 Flume-2 将数据发送给 hadoop102上的Flume-3,Flume-3 将最终数据打印到控制台。原创 2020-08-10 23:48:27 · 136 阅读 · 0 评论 -
5. Flume企业开发案例-负载均衡和故障转移
使用 Flume1 监控一个端口,其 sink 组中的 sink 分别对接 Flume2 和 Flume3,采用Failover Sink Processor,实现故障转移的功能。使用 Flume1 监控一个端口,其 sink 组中的 sink 分别对接 Flume2 和 Flume3,采用Load balancing Sink Processor,实现负载均衡的功能。原创 2020-08-10 23:44:35 · 231 阅读 · 0 评论 -
4. Flume企业开发案例-多路复用以及自定义flume拦截器
在实际的开发中,一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构,Multiplexing的原理是:根据 event 中 Header 的某个 key 的值,将不同的 event 发送到不同的 Channel中,所以我们需要自定义一个 Interceptor,为不同类型的 event 的 Header 中的 key 赋予不同的值。在该案例中,我们以端口数据模拟日志,模拟不同类型的日志,我们需要自定义原创 2020-08-10 23:38:30 · 244 阅读 · 0 评论 -
3. Flume企业开发案例-复制
使用 Flume-1 监控/opt/module/data/hive.log文件变动,Flume-1 将变动内容传递给 Flume-2,Flume-2 负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。原创 2020-08-10 22:47:03 · 144 阅读 · 0 评论 -
2. Flume事务、Agent原理、拓扑结构
ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型,分别是 Replicating(复制)和 Multiplexing(多路复用)。ReplicatingSelector 会将同一个 Event 发往所有的 Channel。Multiplexing 会根据相应的原则,将不同的 Event 发往不同的 Channel。SinkProcessor 共 有 三 种 类 型 , 分 别 是 De原创 2020-08-10 12:07:30 · 138 阅读 · 0 评论 -
1. Flume技术入门
Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。原创 2020-08-09 23:22:07 · 225 阅读 · 0 评论