flume flume跨服务器采集数据：多个agent串联

最新推荐文章于 2022-02-27 18:40:03 发布
最新推荐文章于 2022-02-27 18:40:03 发布
阅读量929 收藏 2
点赞数
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108275043
版权
本文介绍了如何使用Flume进行跨服务器的数据采集，通过示意图和具体代码展示了一个Agent从数据源采集文件，然后通过网络传输到另一个Agent，最终将数据存储到HDFS的过程。在配置中强调了Agent间的端口一致性和启动顺序，以及网络传输的注意事项。
摘要由CSDN通过智能技术生成

flume跨服务器采集数据：多个agent串联

前言

在大数据的采集中，我们常用Flume来进行数据的采集，一般的我们会从Web Server服务器中收集数据，将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算

示意图

两个agent串联

在这里插入图片描述

多个agent串联到一个agent

在这里插入图片描述

需求

  • 第一个agent负责收集文件当中的数据，通过网络发送到第二个agent当中去
  • 第二个agent负责接收第一个agent发送的数据，并将数据保存到hdfs上面去

注意：
两个agent不在同一个节点，端口要一样

注释
跨网络传输一定要先传到avro么，不能直接传到hdfs？
没法直接到hdfs上面去

代码

第一个agent负责从数据源采集文件并传输到第二个agent


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  爱吃甜食_
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
《大数据： Flume 多个Agent 串联（AvroSource、AvroSink）》

				
			

			

				

					yexiangCSDN的专栏
				

				

					10-21
					
					635
					
				

			

		

		

			
				
一、Flume 多个Agent 串联

如果AgentA需要将Event对象发送到其他的agent进程中，AgentA的sink，必须为AvroSink，其他的agent在接收时，必须选择AvroSource



1.组件选择

①. Avro Source



Listens on Avro port and receives events from external Avro client streams. When paired with the built-in Avro Sink on a..

			
		

	



                

              
                



	

		

			

				
					
大数据辅助工具--Flume 数据采集组件

				
			

			

				

					weixin_44387652的博客
				

				

					03-22
					
					2103
					
				

			

		

		

			
				
大数据辅助工具--Flume 数据采集组件1、数据收集工具系统产生背景2、专业的数据收集工具2.1、Chukwa2.2、Scribe2.3、Fluentd2.4、Logstash2.5、Apache Flume3、Flume 概述3.1、Flume 概念3.2、Flume 版本介绍4、Flume 体系结构/核心组件4.1、概述4.2、Flume 核心组件4.2.1、Event4.2.2、Client4.2.3、Agent4.2.4、Source4.2.5、Agent 之 Channel4.2.6、Agent

			
		

	



                


  
              

                


	

		

			

				
					
selenium+chrome多线程爬取多个网站信息

				
			

			

				

					lulasdjkhalkjd的博客
				

				

					06-06
					
					5618
					
				

			

		

		

			
				
本文创建sqlserver数据库连接池，从数据库读取相关网站配置。下图为各个网址的数据标签定位配置：
2. 获得配置之后，创建多线程。从配置文件中读取配置后，
下图为创建多线程（threading）：

3. 接下来使用selenium+chromedriver调用浏览器，使用beautifuisoup解析页面爬取动态页面数据：

最后展示全部代码：
import pyodbc
import p...

			
		

	





	

		

			

				
					
大数据教程（13.2）Flume多个agent连接

				
			

			

				

					weixin_33937778的博客
				

				

					02-26
					
					559
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	



		

			
		



	

		

			

				
					
flume采集多个文件夹日志

				
			

			

				

					weixin_44455388的博客
				

				

					07-01
					
					4539
					
				

			

		

		

			
				
在flume1.6版本及之前，如果想要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化
参考配置:
#配置Agent a1 的组件
a1.sources=r1
a1.sinks=s1
a1.channels=c1
 
#描述/配置a1的source1
a1.sources.r1.type=TAILDIR
#偏移量文件
a1.sources.r1.positionFile = /opt/module/flume/data/taild

			
		

	





	

		

			

				
					
flume的多agent连接

				
			

			

				

					澈彻策的博客
				

				

					09-21
					
					2396
					
				

			

		

		

			
				
1.需求
        将tail命令产生的信息在example01机器上用flume收集，并且将数据传到example02机器上，在example02机器上会将这些接收到的数据存储在hdfs集群上。




2.实现
1）example01机器上的tail-avro.conf文件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#

			
		

	





	

		

			

				
					
FLUME实例：跨服务器实时监控采集多个文件数据入库MySQL

				
			

			

				

					csdnuser267的博客
				

				

					04-29
					
					733
					
				

			

		

		

			
				
最近在使用FLUME跨服务器实时采集多个日志文件并入库MySQL，过程是将服务器A中的多个日志文件发送到服务器B，在服务器B中将数据存入其他数据服务器MySQL库中。过程遇到的一些坑，已为大家踩过了，通过下面的步骤达到了最后的效果，话不多说，上菜！

1、两台互通的服务器A、B，都安装JDK、FLUME1.9（我是安装的1.9版本），可在其他数据服务器上安装MySQL数据库（略）；

2、自定义MySQLSink，放在服务器B，有人写的很详细了，大家可以参考https://blog.csdn.net/wei

			
		

	





	

		

			

				
					
09.flume采集配置案例--多级agent串联.mp4

				
			

			

				

					04-29
				

			

		

		

			
				
09.flume采集配置案例--多级agent串联.mp4

			
		

	





	

		

			

				
					
第8章数据采集工具Flume.pdf

				
			

			

				

					07-14
				

			

		

		

			
				
多Agent架构通过多个Agent串联或者聚合来实现负载均衡和数据复制。多路数据流模型允许多个Source向同一个Agent的Channel中写入事件，而Sink组架构则是由一组Sink组成，它们可以并行工作，实现负载均衡和故障转移。  ...

			
		

	





	

		

			

				
					
Flume的多种采集方式

				
			

			

				

					王傲旗的大数据之路
				

				

					12-04
					
					5752
					
				

			

		

		

			
				
1．采集目录到HDFS

采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去



根据需求，首先定义以下3大要素:

采集源，即source——监控文件目录 :  spooldir
下沉目标，即sink——HDFS文件系统  :  hdfs sink
source和sink之间的传递通道——channel，可用file channel 也可以用内...

			
		

	





	

		

			

				
					
Flume应用案例之两台服务器之间进行实时数据采集

				
			

			

				

					kingloneye的博客
				

				

					06-13
					
					686
					
				

			

		

		

			
				
需求：将A服务器上的日志实时采集到B服务器
说明：如下图
机器A对应本人hadoop01虚拟机，
机器B对应本人hadoop02虚拟机
机器A监控日志文件，向机器A中输入数据，avro sink把新产生的日志输出到对应的avro source 指定的hostname 和port上，通过avro source对应的agent将日志输出到控制台(kafka)

技术选型：
exec source + memory channel + avro sink  （配置在机器A/hadoop01上）
avro sour

			
		

	





	

		

			

				
					
跨网络数据库同步

				
			

			

				

					dml111727
				

				

					08-08
					
					1659
					
				

			

		

		

			
				
本文主要是实现的原理，因为之前一直想不通怎么同步的，想得十分复杂。
需求
在不同的网络，部署了同一个应用，需要两边网络的数据保持一致，数据同步。
数据库：mysql
思路
问题一：要实现数据库同步，首先想到了什么时候需要进行同步？
答：数据发生改变时，数据库增删改。
问题二：那么怎么知道数据库的数据发生了变化呢？
答：通过触发器实现监听?
问题三：跨网怎么实现同步呢？
答：使用光闸发送数据。
根据问题二，我百度搜索了一下，查找到了canal。
canal
canal主要用途是基于 MySQL 数据库增量日志

			
		

	





	

		

			

				
					
Flume跨服务器采集数据

				
			

			

				

					不清不慎的博客
				

				

					07-20
					
					6800
					
				

			

		

		

			
				
在大数据的采集中，我们常用Flume来进行数据的采集，一般的我们会从Web Server服务器中收集数据，将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算。

对于实时流处理流程如下：



无论是离线数据分析还是实时流数据分析在生产环境中都不可能在同一台机器中完成，因此我们常常会跨服务器进行数据的采集，下面我们使用两台不同服务器的...

			
		

	





	

		

			

				
					
flume跨机房数据传输

				
			

			

				

					u013322404的专栏
				

				

					10-29
					
					3004
					
				

			

		

		

			
				
1、场景描述：
项目部署在异地机房，需要将mongo数据库同步到本地机房，由于本地mongo服务器端口不宜在公网上暴露，在两挤房间采用flume实现数据同步。


2、技术方案：
1、异地机房通过扩展flume-source插件从mongodb的oplog集合中实时获取变更的操作记录，通过flume avro sink发送数据。
2、本地机房通过flume avro source接收数

			
		

	





	

		

			

				
					
Flume之两个Agent串联接收消息

				
			

			

				

					张俊杰 的博客
				

				

					10-23
					
					652
					
				

			

		

		

			
				
概述
这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。
两套agent可能是两个机器,一旦发生两个agent串联,头一个agent的sink必须选AvroSink,然后第二个agent的Source要选AvroSource.
案例
在zjj101机器上agent1 使用架构    netcatsource—memory

			
		

	





	

		

			

				
					
爬虫使用多个user-Agent

				
			

			

				

					qq_42764997的博客
				

				

					04-25
					
					924
					
				

			

		

		

			
				
为什么要使用多个user-Agent？
因为我们的爬虫到时候是一直循环的，每次爬取的时间间隔较短，目标网页容易发现同一个浏览器浏览太快这个漏洞，导致爬取不顺利，所以使用多个user-Agent来进行爬取访问，是一个随机的过程
怎么样使用？
以一个简单的爬取百度标题为例

...

			
		

	





	

		

			

				
					
Flume数据采集工具之agent

				
			

			

				

					weixin_45216482的博客
				

				

					02-27
					
					3432
					
				

			

		

		

			
				
1.Flume介绍

Flume是一个分布式、可靠、和高可用的海量日志采集、汇聚和传输的系统。

Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中

一般的采集、传输需求，通过对flume的简单配置即可实现；不用开发一行代码！

Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

2.age.

			
		

	





	

		

			

				
					
Flume快速入门

				
			

			

				

					zp的博客
				

				

					04-20
					
					905
					
				

			

		

		

			
				
前言

在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在Hadoop生态体系中都有便捷的开源框架，如图所示：

图：典型大规模离线数据处理平台





一、Flume日志采集框架

1.1  概述

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输...

			
		

	





	

		

			

				
					
Flume大数据采集实战：从入门到精通

				
			

			

				

					
				

			

		

		

			
				
3. 多数据源动态采集方案：展示如何处理来自多个数据源的数据，实现动态数据整合。 4. 内存式高性能缓存方案：利用Flume内置的缓存机制提高数据处理速度。 5. 实时采集存储HDFS：教授如何将实时采集的数据高效写入...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值