flume
CodeShelby
这个作者很懒,什么都没留下…
展开
-
flume聚合案例
聚合 这种模式是我们最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase等,进行日志分析。案例:整体flume架构如上图配置hadoop102和103的配置文件:[atguigu@hadoop102 job]$ vim netcat-flu原创 2020-08-17 21:16:29 · 836 阅读 · 2 评论 -
flume负载均衡案例
负载均衡和故障转移Flume支持使用将多个sink逻辑上分到一个sink组,sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。负载均衡案例:整体flume架构如上图所示,下面开始编辑flume配置文件:在hadoop103节点的 /opt/module/flume/job 下新建配置文件:vim netcat-flume-loggers.conf添加如下内容:a3.sources = r3a3.channels = c3a3.sources.r3.typ原创 2020-08-17 20:01:56 · 614 阅读 · 0 评论 -
flume复制及多路复用案例
复制和多路复用Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中,或者将不同数据分发到不同的channel中,sink可以选择传送到不同的目的地。案例:整体flume架构如上图所示,下面开始编辑flume配置文件:在hadoop103节点的 /opt/module/flume/job 下新建配置文件:vim netcat-flume-loggers.conf添加如下内容:a3.sources = r3a3.channels = c3a3.so原创 2020-08-17 19:18:12 · 841 阅读 · 0 评论 -
flume简单串联配置案例
(1)简单串联 这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。(不需要启动hadoop集群)案例:这里我以hadoop102与hadoop103两个节点组成串联举例1.分发flume到hadoop102和hadoop103节点,并各自新建配置文件在hadoop102新建配置文件netc原创 2020-08-14 21:31:09 · 535 阅读 · 0 评论 -
flume安装部署以及使用案例
一、Flume概述1、定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RV3UdQii-1597403755028)(E:/%E5%A4%8D%E4%B9%A0%E7%AC%94%E8%AE%B0/flume/flum.assets/1597309346265.png)]2、Flume基础架构[外链图片转存失败,源站可能有防盗链机制,建原创 2020-08-14 19:16:23 · 364 阅读 · 0 评论 -
flume自定义拦截器interceptor
自定义Interceptor(1)案例需求使用Flume采集服务器本地日志,需要按照日志类型的不同,将不同种类的日志发往不同的分析系统。(2)需求分析在实际的开发中,一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构,Multiplexing的原理是,根据event中Header的某个key的值,将不同的event发送到不同的Channel中,所以我们需要自定义一个Interceptor,为不同类型的even原创 2020-08-18 16:18:21 · 374 阅读 · 1 评论