Flume学习笔记

已于 2022-06-08 23:56:21 修改
阅读量249 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： flume 学习 big data
于 2022-06-08 11:55:40 首次发布
-------本文为博主Muu原创,未经博主允许禁止转载, 如有问题,欢迎指正-------
本文链接：https://blog.csdn.net/tenyearsWait/article/details/125181901
版权

Flume日志收集系统

1 概述

  1. Flume是Cloudera提供的日志收集系统, 后来贡献给了Apache

  2. Flume是分布式的, 可信赖的, 可获取的服务基于搞笑的收集, 集合和移动或者传输大量的日志数据

2 Flume 的基本架构

  1. Flume是Web服务器上的日志传输到HDFS上, 中间就是Flume需要处理的借款
  2. 重要概念:
    1. event 事件: Flume本身是收集日志的, 他讲每一条日志封装成event时间
      1. event是Flu饿么收集数据的基本单位
      2. event是从Source流向Channel再到Sink – 本身是一个字节数组
  3. 日志的特点是一json的形式体现的 — 键值对( headers 和 body )
  4. Flume 而言传输利用的是 Agent对象 — Flume 运行的核心(Java进程)
  5. Source是数据的来源, channel是存储(缓存)数据, sink是向外流出/输出 — 三者合体就是 agent

3 流动方式

在这里插入图片描述在这里插入图片描述

4 Flume 安装

下载安装包,并在指定文件夹路径进行解压, 并根据不同需求进行配置文件的修改

5 常用 Source

  1. netcat — 数据的形式是通过TCP请求, 接受的职能是字符串形式的数据
  2. AVRO — 要求接受到的数据必须经过AVRO序列化后的数据之后可以使用AVRO进行反序列化操作之后可以使用
  3. EXEC — 可以将命令的输出作为源头
  4. spooling Directory — 监听指定的某一个目录
    1. 要求指定目录一定要存在
  5. HTTP — 标识接受HTTP的 GET 和 POST 请求作为FLume的源头

1: netcat

1 新建文件夹 data 并进入
2 创建并编辑 basic.conf文件
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink - 表示以日志的方式输出在控制台
a1.sinks.s1.type=logger

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
3 进入bin目录
# 执行命令
sh flume-ng agent --name a1 -c ../conf/ -f ../data/basic.conf -Dflume.root.logger=INFO,console

2 AVRO

1 复制并编辑 basic.conf ==> avrosource.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据

### 相对于basic.conf 修改
a1.sources.r1.type=avro        
### 相对于basic.conf 修改结束


# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
2 进入bin目录执行
# 执行命令
sh flume-ng agent --name a1 -c ../conf/ -f ../data/avrosource.conf -Dflume.root.logger=INFO,console


# sh flume-ng avro-client --host hadoop01 --port 8090 --filename flume-ng.ps1
sh flume-ng avro-client -H hadoop01 -p 8090 -F flume-ng.ps1

3 EXEC

1 复制并编辑basic.conf ==> execsource.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据

### 相对于basic.conf 修改
a1.sources.r1.type=exec 
# 执行的命令   			 # 此处为新增
a1.sources.r1.command=ping baidu.com
### 相对于basic.conf 修改结束

# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
执行命令
../bin/flume-ng agent -n a1 -c ../conf/ -f execsource.conf -Dflume.root.logger=INFO,console

4 SpoolDir

1 复制并编辑 basic.conf ==> spoolsource.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据

### 相对于basic.conf 修改
a1.sources.r1.type=spooldir       
### 相对于basic.conf 修改 结束

# 指定监听的目录
a1.sources.r1.spoolDir=/home/flumedata
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
2 执行命令
../bin/flume-ng agent -n a1 -c ../conf/ -f spoolsource.conf -Dflume.root.logger=INFO,console

5 HTTP

1 复制并编辑 basic.conf ==> httpsource.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据

### 相对于basic.conf 修改
a1.sources.r1.type=http        
# 指定监听的目录
a1.sources.r1.spoolDir=/home/flumedata
### 相对于basic.conf 修改 结束

# 表示从本地获取数据
# a1.sources.r1.bind=0.0.0.0   
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
2 执行命令
../bin/flume-ng agent -n a1 -c ../conf/ -f httpsource.conf -Dflume.root.logger=INFO,console

在外部进行提交post请求

curl -X POST -d '[{"headers":{},"body":"tom"}]'
# 解释
c: create 创建
url: 统一资源定位符
-X: 指定请求方式
-d: 请求的参数

6 常用Sink

Sink备注
Logger表示以日志的形式进行输出, 注意:要求在conf目录下必须有 log4j.properties
File Roll Sink将日志写到本地的文件中
HDFS Sink将日志写到分布式系统
AVRO Sink序列化 — 实现多级流动, 扇入流动, 扇出流动(至少需要两个节点)

File Roll Sink

1 复制并编辑 basic.conf ==> filesink.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink - 表示将日志存储到文件中
a1.sinks.s1.type=file_roll
# 表示将存储到该目录下
a1.sinks.s1.sink.diretory=/home/flumelog
# 每个一个小时产生一个新的文件
# 单位 s
a1.sinks.s1.sink.rollInterval=3600    

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
2 执行命令
../bin/flume-ng agent -n a1 -c ../conf/ -f filesink.conf -Dflume.root.logger=INFO,console

HDFS Sink

1 复制并编辑 basic.conf ==> hdfssink.conf
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink - 表示以日志的方式输出在控制台
a1.sinks.s1.type=hdfs
# HDFS 的路径(数据目的地)
a1.sinks.s1.hdfs.path=hdfs://hadoop01:9000/flume
# 利用流的形式将数据写到分布式文件系统
a1.sinks.s1.hdfs.fileType=DataStream

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
2 执行命令
../bin/flume-ng agent -n a1 -c ../conf/ -f hdfssink.conf -Dflume.root.logger=INFO,console

AVRO Sink / 多级流动

复制并编辑 basic.conf ==> avrosink.conf
cp basic.conf avrosink.conf
分发Flume文件夹
scp -r flume-1.6.0/ root@hadoop02:/home/software/
scp -r flume-1.6.0/ root@hadoop03:/home/software/
Hadoop01
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink 
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=hadoop02
a1.sinks.s1.port=8080

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
hadoop02
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8080

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink 
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=hadoop03
a1.sinks.s1.port=8070

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
Hadoop03
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8070

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100

# 配置Sink 
a1.sinks.s1.type=logger

# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
执行命令
# 三节点执行命令 顺序为 03 -> 02 -> 01
../bin/flume-ng agent -n a1 -c ../conf/ -f avrosink.conf -Dflume.root.logger=INFO,console

扇入流动

复制并编辑 shanru.conf
cp avrosink.conf shanru.conf
Hadoop01
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1
# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=hadoop03
a1.sinks.s1.port=8070

#channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
Hadoop02
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1
# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=hadoop03
a1.sinks.s1.port=8070

#channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1 c2
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
a1.sinks.s2.channel=c2
Hadoop03
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1
# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8070

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger
#channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
执行命令
# 三节点执行命令 顺序为 03 -> 02 == 01
../bin/flume-ng agent -n a1 -c ../conf/ -f shanru.conf -Dflume.root.logger=INFO,console
测试
# 分别新启动一个 hadoop01 hadoop02
# 在hadoop01 上执行命令
nc hadoop01 8090 
# 随意输入一些字符 返回ok
# 在 hadoop02 上执行命令
nc hadoop02 8080 
# 随意输入一些字符 返回ok
测试结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

扇出流动

复制并编辑 shanchu.conf
cp basic.conf shanchu.conf
Hadoop01
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道, 因为有扇出流动
a1.channels=c1 c2
# 绑定目的地, 因为扇出流动有多个目的地
a1.sinks=s1 s2

# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置Channel --- 表示内存通道
# 配置 c1
a1.channels.c1.type=memory
# 最多能够存储1000条数据, 对应了1000个Event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发送给Sink
a1.channels.c1.transactionCapacity=100
# 配置 c2
a1.channels.c2.type=memory
#最多能够存储1000调数据，对应了1000个event事件
a1.channels.c2.capacity=1000
#每次提供100条数据发给sink
a1.channels.c2.transactionCapacity=100

# 配置Sink - 表示以日志的方式输出在控制台
# 配置s1
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=hadoop02
a1.sinks.s1.port=9999
# 配置s2
a1.sinks.s2.type=avro
a1.sinks.s2.hostname=hadoop03
a1.sinks.s2.port=9999
# channel 和 Sink 以及 Source 之间的绑定
# 给r1的Source绑定一个通道(可以绑定多个)
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
Hadoop02
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1
# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=9999

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

#channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1 c2
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
a1.sinks.s2.channel=c2
Hadoop03
# agent起个名称
# 绑定来源，因为来源有可能会有多个
a1.sources=r1
# 绑定通道，因为有扇出流动
a1.channels=c1
# 绑定目的地，因为扇出流动有多个目的地
a1.sinks=s1
# 配置Source
# 通过nc发送HTTP请求获取数据
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=9999

# 配置Channel
# 表示内存通道
a1.channels.c1.type=memory
# 最多能够存储1000调数据，对应了1000个event事件
a1.channels.c1.capacity=1000
# 每次提供100条数据发给sink
a1.channels.c1.transactionCapacity=100

# 配置sink - 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

#channel和sink以及Source绑定
# 给R1的source绑定一个通道（可以绑定多个）
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
执行命令
# 三节点执行命令 顺序为 03 == 02 -> 01
../bin/flume-ng agent -n a1 -c ../conf/ -f shanchu.conf -Dflume.root.logger=INFO,console
测试
# 新启动一个 hadoop01
# 执行命令
nc hadoop01 8090
# 随意输入一些字符

在这里插入图片描述

测试结果

在这里插入图片描述

7 常用Channel

  1. Memory Channel — 内存通道
    1. capacity: 表示这个Channel能够存储多少条数据, 在实际开发中简易调节为10w左右
    2. transactionCapacity: 傲视给Sink多少条数据, 即意味着一次性传输多少条数据, 根据实际开发一般调节为1000-3000左右
  2. JDBC Channel — 表示将数据存储在数据库中 — 尽在测试环境中使用
    1. Flume 到目前为止支持的数据库有且仅有一个: Derby
  3. File Channel — 文件通道 — IO读写 — 性能低
  4. 内存溢出通道 — 官方未正式推出(测试阶段)

8 轮播机制

9 监听机制

10 消费者组

BabyMuu
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume NG 学习笔记（五）Sinks和Channel配置
顾晓艳的专栏
10-24 1万+
一、HDFS Sink Flume Sink是将事件写入到Hadoop分布式文件系统（HDFS）中。主要是Flume在Hadoop环境中的应用，即Flume采集数据输出到HDFS，适用大数据日志场景。 目前，它支持HDFS的文本和序列文件格式，以及支持两个文件类型的压缩。支持将所用的时间、数据大小、事件的数量为操作参数，对HDFS文件进行关闭（关闭当前文件，并创建一个新的）。它还可以对事源的机
Flume NG 学习笔记（十） Transaction、Sink、Source和Channel开发
顾晓艳的专栏
10-31 5356
一、Transaction interface Transaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用Flume Transaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks的发送数据与接受数据都是在一个Transaction里完成的。 从上图中可以看出，一个Tr
flume学习笔记（一）
u013982921的专栏
09-17 461
   今天小编开始学习了flume这个组件了，之前也接触过一点，但迟迟未能将自己的笔记落地，心里还是挺懒的，今天总算可以静下心来好好写一篇博客了。 一、flume简介       flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随...
Flume笔记.zip
04-04
结合配套视频资源（https://space.bilibili.com/320773563/channel/detail?cid=173209），可以深入学习 Flume 的安装、配置、使用案例以及如何与其他大数据组件集成，提升你在大数据实时处理领域的技能。通过实践，...
大数据技术之Flume笔记
04-17
在实际的大数据环境中，Flume 常用于收集Web服务器日志、应用程序日志、社交媒体数据等，为后续的数据分析、挖掘和机器学习任务提供原始数据。结合Hadoop、Spark等工具，Flume 可以构建出强大的实时数据流处理系统。...
IT十八掌_Flume阶段学习笔记(知识点总结)
09-03
IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结
flume学习笔记一
gzh_aixiaoyang的博客
12-07 329
flume在下图的架构中因sink宕机或其它原因导致sink不能消费可能会出现的问题 一、架构图讲解 上图的架构是通过一个source把数据接过来，然后放到两个管道里面（同一份数据在每个管道里面都放一份），
【Flume】(一) Flume 学习笔记
weixin_42804692的博客
04-28 215
文章目录一、Flume 组成架构二、Flume 拓扑结构三、Flume拦截器四、Flume的事务机制Flume 参数调优HDFS Sink小文件过多 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 一、Flume 组成架构  1...
Flume 学习笔记+练习
感谢你的关注~~~~ღ( ´･ᴗ･` )
07-23 411
# 从http://flume.apache.org/download.html 下载flume ############################################# # 概述：Flume 是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 # Flume的核心是把数据从数据源(source)收集过来，送到指定的目的地(sink)。为了保...
9_辅助框架.docx
06-18
大数据协作框架杂谈 在大数据领域，我们已经学习了Hadoop的三个组件：数据仓库工具Hive，数据库...通过学习和使用Sqoop、Flume、Oozie和Hue等框架，我们可以更加方便地处理和管理大数据，提高数据分析的效率和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值