【Flume-01】安装部署

于 2022-09-16 09:30:00 发布
阅读量170 收藏
点赞数
分类专栏： Hadoop 大数据 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hao1999_/article/details/126861859
版权

第一章：Flume的简介

1.1 大数据处理流程

在企业中，大数据的处理流程一般是：

  • 1.数据采集
  • 2.数据存储
  • 3.数据清洗
  • 4.数据分析
  • 5.数据展示

参考下图：


 

在数据采集和搜集的工具中，Flume框架占有一定的市场份量。

1.2 Flume的简介

Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

参考官网： Welcome to Apache Flume — Apache Flume

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.

flume 最开始是由 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。但随着 flume 功能的扩展，flume的代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点渐渐暴露出来，尤其是在发行版本 0.9.4中，日志传输不稳定的现象尤为严重。

为了解决这些问题，2011 年 10 月 22 号，cloudera 对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，并将 Flume 纳入 apache 旗下，从cloudera Flume 改名为 Apache Flume。

1.3 版本区别

 为了与之前版本区分开，重构后的版本统称为 **Flume NG（next generation）**，重构前的版本被统称为 **Flume OG（original generation）**，Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。

第二章：Flume的体系结构

2.1 体系结构简介

Flume 运行的核心是 Agent。Flume是以agent为最小的独立运行单位。一个agent就是一个JVM。它是一个完整的数据收集工具，含有三个核心组件，分别是source、 channel、 sink。通过这些组件， Event 可以从一个地方流向另一个地方。如下图所示：


 

2.2 组件及其作用

- Client：
 客户端，Client生产数据，运行在一个独立的线程中

- Event： 
 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）

- Flow：
	Event从源点到达目的点的迁移的抽象。

- Agent： 
 一个独立的Flume进程，运行在JVM中，包含组件Source、 Channel、 Sink。
 每台机器运行一个agent，但是一个agent中可以包含多个sources和sinks。

- Source： 
 数据收集组件。source从Client收集数据，传递给Channel

- Channel： 
 管道，负责接收source端的数据，然后将数据推送到sink端。

- Sink： 
 负责从channel端拉取数据，并将其推送到持久化系统或者是下一个Agent。
 
- selector：
 选择器，作用于source端，然后决定数据发往哪个目标。

- interceptor：
 拦截器，flume允许使用拦截器拦截数据。允许使用拦截器链，作用于source和sink阶段。

第三章：Flume的安装

3.1 安装和配置环境变量

3.1.1 准备软件包

将apache-flume-1.8.0-bin.tar.gz 上传到linux系统中的/root/softwares/目录中

3.1.2 解压软件包

[root@hadoop01 softwares]# pwd
/root/softwares
[root@hadoop01 softwares]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local/

3.1.3 更名操作

[root@hadoop01 softwares]# cd /usr/local/
[root@hadoop01 local]# mv apache-flume-1.8.0-bin/ flume

3.1.4 配置环境变量

[root@hadoop01 local]# vim /etc/profile
........省略..........
export FLUME_HOME=/usr/local/flume
export PATH=$FLUME_HOME/bin:$PATH

# 加载环境变量
[root@hadoop01 local]# source /etc/profile


 

3.1.5 验证环境变量

[root@hadoop01 local]# flume-ng version


 

3.2 配置文件

[root@hadoop01 local]# cd flume/conf/
[root@hadoop01 conf]# cp flume-env.sh.template flume-env.sh
[root@hadoop01 conf]# vim flume-env.sh
# 再文件末尾添加JAVA_HOME的路径
export JAVA_HOME=/usr/local/jdk


 

第四章：Flume的部署

4.1 数据模型

- 单一数据模型
- 多数据流模型

4.1.1 单一数据模型

在单个 Agent 内由单个 Source, Channel, Sink 建立一个单一的数据流模型，如下图所示，整个数据流为 Web Server --> Source --> Channel --> Sink --> HDFS。


 

4.1.2 多数据流模型

1）多 Agent 串行传输数据流模型


 

2）多 Agent 汇聚数据流模型


 

3）单 Agent 多路数据流模型


 

4）Sinkgroups 数据流模型


 

4.1.3 小总结

在flume提供的数据流模型中，几个原则很重要。

Source--> Channel
 1.单个Source组件可以和多个Channel组合建立数据流，既可以replicating 和 multiplexing。
 2.多个Sources可以写入单个 Channel

Channel-->Sink
 1.多个Sinks又可以组合成Sinkgroups从Channel中获取数据，既可以loadbalancing和failover机制。
 2.多个Sinks也可以从单个Channel中取数据。
 3.单个Sink只能从单个Channel中取数据

根据上述 5 个原则，你可以设计出满足你需求的数据流模型。

4.2 配置介绍

4.2.1 定义组件名称

要定义单个代理中的流，您需要通过通道链接源和接收器。您需要列出给定代理的源，接收器和通道，然后将源和接收器指向一个通道。一个源实例可以指定多个通道，但是一个接收器实例只能指定一个通道。格式如下：

# list the sources, sinks and channels for the agent
<Agent>.sources = <Source>
<Agent>.sinks = <Sink>
<Agent>.channels = <Channel1> <Channel2>

# set channel for source
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...

# set channel for sink
<Agent>.sinks.<Sink>.channel = <Channel1>

案例如下：

# list the sources, sinks and channels for the agent
agent_foo.sources = avro-appserver-src-1
agent_foo.sinks = hdfs-sink-1
agent_foo.channels = mem-channel-1

# set channel for source
agent_foo.sources.avro-appserver-src-1.channels = mem-channel-1

# set channel for sink
agent_foo.sinks.hdfs-sink-1.channel = mem-channel-1

4.2.2 配置组件属性

# properties for sources
<Agent>.sources.<Source>.<someProperty> = <someValue>

# properties for channels
<Agent>.channel.<Channel>.<someProperty> = <someValue>

# properties for sinks
<Agent>.sources.<Sink>.<someProperty> = <someValue>

案例如下：

agent_foo.sources = avro-AppSrv-source
agent_foo.sinks = hdfs-Cluster1-sink
agent_foo.channels = mem-channel-1

# set channel for sources, sinks

# properties of avro-AppSrv-source
agent_foo.sources.avro-AppSrv-source.type = avro
agent_foo.sources.avro-AppSrv-source.bind = localhost
agent_foo.sources.avro-AppSrv-source.port = 10000

# properties of mem-channel-1
agent_foo.channels.mem-channel-1.type = memory
agent_foo.channels.mem-channel-1.capacity = 1000
agent_foo.channels.mem-channel-1.transactionCapacity = 100

# properties of hdfs-Cluster1-sink
agent_foo.sinks.hdfs-Cluster1-sink.type = hdfs
agent_foo.sinks.hdfs-Cluster1-sink.hdfs.path = hdfs://namenode/flume/webdata

#...

4.3 常用的source和sink种类

4.3.1 常用的flume sources

# Avro source：
	avro
# Syslog TCP source：
	syslogtcp
# Syslog UDP Source：
	syslogudp
# HTTP Source：
	http	
# Exec source：
	exec
# JMS source：
	jms
# Thrift source：
	thrift	
# Spooling directory source：
	spooldir
# Kafka source：
	org.apache.flume.source.kafka,KafkaSource
.....

4.3.2 常用的flume channels

# Memory Channel
	memory
# JDBC Channel
	jdbc
# Kafka Channel
	org.apache.flume.channel.kafka.KafkaChannel
# File Channel
	file

4.3.3 常用的flume sinks

# HDFS Sink
	hdfs
# HIVE Sink
	hive
# Logger Sink
	logger
# Avro Sink
	avro
# Kafka Sink
	org.apache.flume.sink.kafka.KafkaSink
# Hbase Sink
	hbase
菜鸟进阶站
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
PostgreSQL 介绍与安装
06-29 411
数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API 用于创建，访问，管理，搜索和复制所保存的数据。我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
博客
Hive基本操作-库、表
03-30 467
创建数据库的本质就是在hive的参数${hive.metastore.warehouse.dir}对应的目录下，创建一个新的目录，此目录的名称为： 库名.db。注意:hive使用的是严格的读时模式：加载数据时不检查数据的完整性，读时发现数据不对则使用NULL来代替。数据文件就存在这个目录下。**方法1：**使用hdfs dfs -put将本地文件上传到表目录下。**方法3：**从另外一张表(也可称之为备份表)中动态加载数据。**方法2：**在hive中使用load 命令。**方法4：**克隆表数据。
博客
【Linux】常见面试题2023版
01-11 1049
cat （concatenate：显示或把多个文本文件连接起来）查看文件命令（可以快捷查看当前文件的内容）（不能快速定位到最后一页）ll （ll：list的缩写，查看列表详情）查看当前目录下的所有详细信息和文件夹（ll 结果是详细,有时间,是否可读写等信息）ls （ls：list的缩写，查看列表）查看当前目录下的所有文件夹（ls 只列出文件名或目录名）more （more：更多的意思）分页查看文件命令（不能快速定位到最后一页）tail（尾巴） 查看文件命令（看最后多少行）
博客
【20天快速掌握Python】day20-手动搭建HTTP服务器
01-01 938
除了使用浏览器给服务器发送请求以外，我们还可以使用第三方模块requests用代码来给服务器发送器请求，并获取结果。# 方法二: 只能用于get请求# 2.获取请求结果# 2)响应体(数据)# a.获取二进制对应的原数据(数据本身是图片、压缩文件、视频等文件数据)# b.获取字符类型的数据# c.获取json数据(json转换成python对应的数据)
博客
【20天快速掌握Python】day19-HTTP协议
12-31 448
当我们编写一个页面时，我们只需要在HTTP请求中把HTML发送出去，不需要考虑如何附带图片、视频等，浏览器如果需要请求图片和视频，它会发送另一个HTTP请求，因此，一个HTTP请求只处理一个资源(此时就可以理解为TCP协议中的短连接，每个链接只获取一个资源，如需要多个就需要建立多个链接)当存在Content-Encoding时，Body数据是被压缩的，最常见的压缩方式是gzip，所以，看到Content-Encoding: gzip时，需要将Body数据先解压缩，才能得到真正的数据。
博客
【20天快速掌握Python】day18-进程
12-30 846
1）如果block使用默认值，且没有设置timeout（单位秒），消息列队如果为空，此时程序将被阻塞（停在读取状态），直到从消息列队读到消息为止，如果设置了timeout，则会等待timeout秒，若还没读取到任何消息，则抛出"Queue.Empty"异常；开启过多的进程并不能提高你的效率，反而会降低你的效率，假设有500个任务，同时开启500个进程，这500个进程除了不能一起执行之外（cpu没有那么多核），操作系统调度这500个进程，让他们平均在4个或8个cpu上执行，这会占用很大的空间。
博客
【20天快速掌握Python】day17-线程
12-29 246
Queue是一个先进先出（First In First Out）的队列，主进程中创建一个Queue对象，并作为参数传入子进程，两者之间通过put( )放入数据，通过get( )取出数据，执行了get( )函数之后队列中的数据会被同时删除，可以使用multiprocessing模块的Queue实现多进程之间的数据传递。如果此时另一个线程试图获得这个锁，该线程就会变为“blocked”状态，称为“阻塞”，直到拥有锁的线程调用锁的release()方法释放锁之后，锁进入“unlocked”状态。
博客
【20天快速掌握Python】day16-多任务
12-28 184
在现实生活中，有很多的场景中的事情是同时进行的，比如跳舞和唱歌是同时进行的。在程序中，可以使用代码来模拟唱歌和跳舞的功能：​print("正在唱歌...%d"%i)​print("正在跳舞...%d"%i)​sing() #唱歌dance() #跳舞很显然刚刚的程序并没有完成唱歌和跳舞同时进行的要求多任务。
博客
【20天快速掌握Python】day15-网络编程
12-27 583
一个udp网络程序，可以不绑定，此时操作系统会随机进行分配一个端口，如果重新运行此程序端口可能会发生变化一个udp网络程序，也可以绑定信息（ip地址，端口号），如果绑定成功，那么操作系统用这个端口号来进行区别收到的网络数据是否是此进程的。
博客
【20天快速掌握Python】day14-正则表达式
12-26 766
正则表达式是一个特殊的字符序列，计算机科学的一个概念。通常被用来检索、替换那些符合某个模式(规则)的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用re模块。re 模块使 Python 语言拥有全部的正则表达式功能。1.1 特点：灵活性、逻辑性和功能性非常强；可以迅速地用极简单的方式达到字符串的复杂控制。对于刚接触的人来说，比较晦涩难懂。1.2 Python中的正则表达式与大多数编程语言相同，正则表达式里也使用\
博客
【20天快速掌握Python】day13-序列化反序列化和异常处理
12-25 174
如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定的规律计算生成的，那么也就意味着可以不用再依赖一个已有的数据集合，也就是说不用再将所有要迭代的数据都一次性缓存下来供后续依次读取，这样可以节省大量的存储（内存）空间。通过上面的分析，我们已经知道，迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使用next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。实际上，在使用next()函数的时候，调用的就是迭代器对象的。迭代器是一个可以记住遍历的位置的对象。
博客
【20天快速掌握Python】day12-文件操作
12-24 957
改良版本的程序是对可能发生异常的代码处进行 try 捕获，使用 try/finally 语句，该语句表示如果在 try 代码块中程序出现了异常，后续代码就不再执行，而直接跳转到 except 代码块。程序在运行过程中，由于我们的编码不规范，或者其他原因一些客观原因，导致我们的程序无法继续运行，此时，程序就会出现异常。比如文件关闭，释放锁，把数据库连接返还给连接池等。设计一套协议，按照某种规则，把内存中的数据转换为字节序列，保存到文件，这就是序列化，反之，从文件的字节序列恢复到内存中，就是反序列化。
博客
【20天快速掌握Python】day11-面向对象进阶
12-23 209
举个常见的单例模式例子，我们日常使用的电脑上都有一个回收站，在整个操作系统中，回收站只能有一个实例，整个系统都使用这个唯一的实例，而且回收站自行提供自己的实例。最好是提供一个父类 Dog，具备 work 的功能，其他小狗继承它，这样只要是小狗类，则行为被统一起来了，我们人类完全可以保证，只要是小狗的子类，找它干活肯定不会有问题。定义：多态是一种使用对象的方式，子类重写父类方法，调用不同子类对象的相同父类方法，可以产生不同的执行结果。父类与子类，主要体现在代码的重用，不需要大量的编写重复代码。
博客
【20天快速掌握Python】day10-面向对象基础
12-22 247
这个模板只规定了飞机的某些特征(例如大小，颜色，型号等等)和行为(例如起飞，降落，飞行等等)，它并不是一个具体的飞机，而是对飞机的一个抽象概念。Python 的类里提供的，两个下划线开始，两个下划线结束的方法，就是魔法方法，魔法方法在恰当的时候就会被激活，自动执行。在实际开发中，对象的某些属性或者方法可能只希望在对象的内部别使用，而不希望在外部被访问到，这时就可以定义私有属性和私有方法。，对象属性又称为实例属性，记录对象各自的数据，不同对象的同名实例属性，记录的数据各自独立，互不干扰。
博客
【20天快速掌握Python】day09-模块和包
12-21 667
通过这种方式引入的时候，调用函数时只能给出函数名，不能给出模块名，但是当两个模块中含有相同名称函数的时候，后面一次引入会覆盖前一次引入。也就是说假如模块A中有函数function( )，在模块B中也有函数function( )，如果引入A中的function在先、B中的function在后，那么当调用function函数的时候，是去执行模块B中的function函数。但是，需要注意的是，如果一个py文件要作为一个模块被别的代码使用，这个py文件的名字一定要遵守标识符的命名规则。
博客
【20天快速掌握Python】day08-高阶函数
12-20 185
如果一个函数在内部不调用其它的函数，而是自己本身的话，这个函数就是递归函数。
博客
【20天快速掌握Python】day07-函数
12-19 233
因为其作用范围只是在自己的函数内部，所以不同的函数可以定义相同名字的局部变量（打个比方，把你、我是当做成函数，把局部变量理解为每个人手里的手机，你可有个iPhone8，我当然也可以有个iPhone8了， 互不相关）在本小节刚开始的时候，说过的“买冰淇淋”的例子中，最后儿子给你冰淇淋时，你一定是从儿子手中接过来 对么，程序也是如此，如果一个函数返回了一个数据，那么想要用这个数据，那么就需要保存。定义了函数之后，就相当于有了一个具有某些功能的代码，想要让这些代码能够执行，需要调用它调用函数很简单的，通过。
博客
【20天快速掌握Python】day06-元组、字典、集合
12-18 445
字典中找某个元素时，是根据'名字'（就是冒号:前面的那个值，例如上面代码中的'name'、'id'、'sex'）info = {'name':'班长', 'id':100, 'sex':'f', 'address':'地球亚洲中国上海'}info = {'name':'配的龙','high':'183cm','weigh':'65kg'}字典的每个元素由2部分组成，键:值。例如 'name':'班长' ,'name'为键，'班长'为值。添加之后的字典为:{'name': '班长', 'id': 100}
博客
【20天快速掌握Python】day05-列表
12-17 579
它们的使用和字符串里的使用效果一致。sort方法是将list按特定顺序重新排列，默认为由小到大，参数reverse=True可改为倒序，由大到小。while 循环是一种基本的遍历列表数据的方式，但是最常用也是最简单的方式是使用 for 循环。in的方法只要会用了，那么not in也是同样的用法，只不过not in判断的是不存在。我们是通过指定下标来访问列表元素，因此修改元素的时候，为指定的列表下标赋值即可。一个列表中的元素又是一个列表，那么这就是列表的嵌套。类似while循环的嵌套，列表也是支持嵌套的。
博客
【20天快速掌握Python】day04-字符串
12-15 504
字符串可以理解为一段普通的文本内容，在python里，使用引号来表示一个字符串，不同的引号表示的效果会有区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值