5 Flume开荒

最新推荐文章于 2024-07-07 12:55:39 发布
最新推荐文章于 2024-07-07 12:55:39 发布
阅读量106 收藏
点赞数
分类专栏： # 爬梯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39381833/article/details/108038394
版权

布式的海量日志采集、聚合和传输的系统。Flume基于流式架构
在这里插入图片描述
在这里插入图片描述

文章目录

1 安装

[root@ifeng app]# tar -xzvf flume-ng-1.6.0-cdh5.16.2.tar.gz -C ../app/

修改flume-env.sh
在这里插入图片描述

1.2 Agent

JVM进程 ： 把数据从源头送至目的地 是Flume数据传输的基本单元
Agent组成：

  • Source
  • Channel
  • Sink

1.2.2 Source

Source是负责接收数据到FlumeAgent的组件
处理各种类型 各种格式的日志数据

avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy

1.2.3 Channel

Source和Sink之间的缓冲区
缓冲区带来影响: 允许Source 和 Sink运做在不同的速率上
线程安全的 同时处理几个Source的读 几个Sink的吸入

Flume自带两种Channel：Memory Channel和File Channel。
Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。
如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

1.2.4 Sink

不断轮询Channel中的事件且批量移除他们，
并将这些事件写入到存储 or 索引系统当中 or 另一个Agent

Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务
写出成功就会提交事务，
Channel接收到事务会删掉已经写入完场的事件

1.2.5 Event

Flume基本传输单元，事件的形式讲数据从源头送至目的地
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2 Flume Agent内部原理

在这里插入图片描述

3 开发实例

3.1 Simple example

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1 : agent
r1 : source
k1 : sink
c1 : channel

首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台
在这里插入图片描述

3.1.1 安装telnet工具

yum -y install telnet
yum install telnet-server

netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。 
基本语法：netstat [选项]
选项参数：
	-t或--tcp：显示TCP传输协议的连线状况； 
-u或--udp：显示UDP传输协议的连线状况；
	-n或--numeric：直接使用ip地址，而不通过域名服务器； 
	-l或--listening：显示监控中的服务器的Socket； 
	-p或--programs：显示正在使用Socket的程序识别码和程序名称

3.1.2 创建Agent配置文件flume-telnet-logger.conf

mkdir job

在job下创建Agent的配置文件flume-telnet-logger.conf

vi flume-telnet-logger.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在这里插入图片描述

3.1.4 开启Flume监听端口

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

参数说明：
	--conf conf/  ：表示配置文件存储在conf/目录
	--name a1	：表示给agent起名为a1
	--conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
	-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

3.1.5 telnet工具向本机44444端口发送内容

在这里插入图片描述

在这里插入图片描述

3.2 读取本地文件到HDFS

vi job/flume-file-hdfs.conf

# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/1.log
a2.sources.r2.shell = /bin/bash -c

# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://10.103.66.15:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.rollCount = 0
#最小冗余数
a2.sinks.k2.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

在这里插入图片描述
启动

bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

在这里插入图片描述

3.3 实时读取目录文件到HDFS

在这里插入图片描述

vi flume-dir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://ifeng:9000/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a3.sinks.k3.hdfs.rollCount = 0
#最小冗余数
a3.sinks.k3.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

在这里插入图片描述

3.2.1 启动监控

bin/flume-ng agent 
--conf conf/ 
--name a3 --conf-file job/flume-dir-hdfs.conf

说明： 在使用Spooling Directory Source时
1)	不要在监控目录中创建并持续修改文件
2)	上传完成的文件会以.COMPLETED结尾
3)	被监控文件夹每500毫秒扫描一次文件变动

3.2.2 创建测试文本

创建文件夹

/opt/module/flume/upload

3.4 多数据源汇总案例

在这里插入图片描述

在这里插入图片描述

1．创建flume1-logger-flume.conf

配置Source用于监控hive.log文件，配置Sink输出数据到下一级Flume。

vi flume1-logger-flume.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/group.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 10.103.66.15
a1.sinks.k1.port = 11225

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2．创建flume2-netcat-flume.conf

配置Source监控端口11224数据流，配置Sink数据到下一级Flume：

vi flume2-netcat-flume.conf

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = 10.103.66.15
a2.sources.r1.port = 11224

# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = 10.103.66.15
a2.sinks.k1.port = 11225

# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
3．创建flume3-flume-logger.conf

配置source用于接收flume1与flume2发送过来的数据流，最终合并后sink到控制台。
在hadoop104上创建配置文件并打开

vi flume3-flume-logger.conf

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = 10.103.66.15
a3.sources.r1.port = 11225

# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c
3 2 1 顺序启动
bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume3-flume-logger.conf -Dflume.root.logger=INFO,console

bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume2-netcat-flume.conf

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume1-logger-flume.conf

向 11224端口发送内容

telnet 10.103.66.15 11224
oifengo
关注
专栏目录
flume-es5.X依赖.zip
03-23
而Flume-ES5.X是Flume的一个版本，它特别针对Elasticsearch 5.x进行了优化，使得数据能够无缝流入Elasticsearch进行存储和分析。本文将深入探讨Flume-ES5.X的依赖关系，并详细介绍如何自定义Sink以满足特定需求。 ...
flume：Apache Flume的镜像
02-03
欢迎使用Apache Flume！ Apache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的体系结构。 它具有可调整的可靠性机制以及许多故障转移和恢复机制...
Flume最简单使用
热门推荐
lydms的博客
09-23 1万+
Flume最简单使用教程
CentOS安装Flume
Button的博客
01-19 1260
centos安装flume
Flume日志采集
最新发布
m0_68533987的博客
07-07 1129
Apache Flume和Apache Kafka是两个常用的技术，它们可以结合起来构建一个强大的数据流水线。Flume中的Source负责从各种数据源收集数据并将其发送到Flume的Channel中。Source可以是多种类型，比如监听文件变化的TailFileSource接收网络传输数据的NetcatSource等。这些Source可以根据实际业务需求进行配置，实现对不同数据源的实时监控和数据提取。
Flume
孤鸿的博客
03-30 1992
简介 概述 Flume是Cloudera公司开发的后来贡献给了Apache的一套用于进行日志的收集(collecting)、汇聚(aggregating)和传输(movlng)的机制 在大数据中，有超过70%的数据来源是日志 - 日志是大数据的基石 Flume版本： Flume0.X：Flume-og，配置结构复杂，并且对分布式支持不好 Flume1.X：Flume-ng，配置结构进行简化，并且很好的支持分布式 基本概念 Event：事件 Flume会将收集到的日志封装成Event对象，一
Flume整理
weixin_50405727的博客
03-04 1541
文章目录1. Flume 概述2. Flume 基础架构3. Flume 拓扑结构3.1. 简单串联3.2. 复制和多路复用3.3. 负载均衡和故障转移3.4. 聚合4. Flume 项目应用4.1. 采集Flume4.2. 聚合 Flume6. Flume 事务6.1. Put 事务(推送事件：Source -> Channel)6.2. Take 事务(拉取事件：Channel -> Sink)7. Flume 监控8. Flume 采集数据会丢失吗？ 1. Flume 概述 ​ Flu
Flume的安装配置
weixin_65875490的博客
10-27 917
java运行环境的版本与将要安装配置的Flume版本是对应的，如果使用Flume1.6版本，则要使用Java1.6及以上运行环境，由于本章后续将以Flume1.8.0为准，所以要求安装java1.8及以上运行环境。（本文/home/export/software为软件压缩包放置目录,/home/export/servers软件包目录，大家可自行调整自己的对应路径）一、java与Flume版本对应Flume版本依赖的JRE版本Java1.8 或更高版本Java1.8 或更高版本。
大数据技术之 Flume
我从不打没有准备的仗！
03-21 1543
大数据技术之 Flume
kafka 和flume对接
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-28 1117
Kafka Sink 提供了可靠的方式将数据写入 Kafka，支持批量写入、分区和副本的配置，确保数据的可靠性和一致性。保证数据的顺序性：可以使用 Kafka 的分区机制来控制数据的顺序，确保相同 key 的数据被写入到同一个 partition 中，保证数据的顺序性。Kafka Sink 会负责将数据写入指定的 topic，根据配置的 partition 和副本策略，将数据分布到 Kafka 集群中的不同节点上。您需要提供目标的相关配置，如HDFS的文件路径、HBase的表名称等。
flume
weixin_44077750的博客
12-09 3041
flumeflume简介flume架构Flume数据流Flume可靠性Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用spoolingToHDFS.confhbaseLogToHDFShbaselogToHBasehttpToLogger flume简介 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进
Flume学习笔记
m0_55212193的博客
04-24 2063
Flume学习笔记Flume 定义Flume 基础架构Flume 安装部署监控端口数据实时监控单个追加文件实时监控目录下多个新文件 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单. Flume最主要的作用就是:实时读取服务器本地磁盘的数据，将数据写入到HDFS. Flume 基础架构 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
flume支持RabbitMQ插件
05-26
flume支持RabbitMQ插件
Trino开荒
ifeng
10-24 4958
一. 概述 1.1 Trino历史 Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前，Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Facebook也调研了其他比Hive更快的工具，但它们要么在功能有所限制要么就太简单
6.1 Zookeeper_读写流程
ifeng
08-21 3127
1 写 1.1 写入请求直接发送到Leader节点 Client 向Leader发送写入请求 Leader 将数据读取到本地 ，然后发送到所有的Follower 当有一半的节点写入完毕(ACK) , 就返回写入成功的消息给Client 1.2 写入请求发送到Follower Client 向Follower发送写请求 Follower将请求转发给Leader Leader将数据读取到本节点 …同上 当有半数的节点都写入完毕(包括Ledaer自己) ， Leader写入完成信息--------&gt
2.3 MapReduce之RecordReader原理
ifeng
07-21 1206
1 RecordReader介绍 RecordReader作用就是把数据切分成key/value的形式 然后作为输入传给Mapper 所有方法： linitialize：初始化RecordReader 只能调用一次 nextKeyValue：读取下一个key/value键值对 getCurrentKey：当前的key getCurrentValue：当前Value getProcess：获取当前进度 colse：关闭RecordReader 2 RecordReader运行流程 2.1 MapTas
数仓_Hive全部基础知识点
ifeng
08-01 1164
文章目录1 NULL1.1 nvl(cloumn,0)用0替换掉1.2 Null造成数据倾斜 1 NULL 1.1 nvl(cloumn,0)用0替换掉 在处理avg时，null将不参加 需要替换成0 concat(‘abc’,‘def’) = abcdef concat(‘abc’,‘null’) = null concat_ws 1.2 Null造成数据倾斜 ...
Flume 1.6.0 CDH5部署与配置详解
5. **安装与管理**：Flume的安装步骤包括从Cloudera或其他可信源下载安装包（如`flume-ng-1.6.0-cdh5.16.2.tar.gz`），解压后创建软链接，然后配置环境变量和启动Flume服务。根据具体版本和集群需求进行相应调整。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oifengo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值