Flume

最新推荐文章于 2022-09-03 18:06:00 发布
最新推荐文章于 2022-09-03 18:06:00 发布
阅读量91 收藏
点赞数
分类专栏： 大数据 文章标签： flume 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45456844/article/details/120935021
版权

1.Flume概述

  • Flume是一个分布式日志采集工具，可以对产生的海量日志进行自动收集，聚合，移动。

  • 结构

在这里插入图片描述

  1. Web Server

    日志信息的来源

  2. Agent

    Agent其实是一个在Flume启动时启动的一个JVM程序，使用Flume进行数据采集的时候先编写Agent配置文件，之后启动Agent来进行采集

    • Source

      负责将采集信息，并将数据放入Channel

    • Channnel

      以队列的形式将采集到的数据进行缓存，等待Sink读取数据

    • Sink

      读取Channel中的数据并将数据发送到保存端

  3. HDFS

    保存日志信息位置

2.Flume安装

  1. 下载并解压flume-1.9.0

  2. 修改配置文件

    fiume-env.sh

    export JAVA_HOME=/opt/jdk1.8

  3. 添加环境变量

    echo 'export FLUME_HOME=/opt/flume-1.9.0' >> /etc/profile
echo 'export PATH=$FLUME_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

3.Flume的集中框架形式及其使用

具体详细信息参照Flume官方网站Welcome to Apache Flume — Apache Flume

1.Netcat_to_Logger

  • 使用Netcat监听某一端口的信息，并打印到控制台

在这里插入图片描述

  • 编写Netcat_to_Logger.conf配置文件
# example.conf: A single-node Flume configuration

# Name the components on this agent
# 配置agent中所有组件的名称
# a1是agent的名字
# r1是source的名字
# k1是sink的名字
# c1是channel的名字
# 如果有多个组件 可以空格拼接多个名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source
# 设置source类型
a1.sources.r1.type = netcat
# 设置netcat连接的主机名
a1.sources.r1.bind = host01
a1.sources.r1.port = 12345

# 配置sink
a1.sinks.k1.type = logger

# 配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 设置source和sink连接到哪些channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 命令行输入启动命令
flume-ng agent \
-c /opt/flume-1.9.0/conf \
-f /opt/flume-1.9.0/agents/netcat_to_logger.conf \
-n a1 \
-Dflume.root.logger=INFO,console

2.Netcat_to_HDFS

  • 使用Netcat监听某一端口的信息，并记录到HDFS

在这里插入图片描述

  • 编写Netcat_to_HDFS.conf配置文件
# example.conf: A single-node Flume configuration

# Name the components on this agent
# 配置agent中所有组件的名称
# a1是agent的名字
# r1是source的名字
# k1是sink的名字
# c1是channel的名字
# 如果有多个组件 可以空格拼接多个名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source
# 设置source类型
a1.sources.r1.type = netcat
# 设置netcat连接的主机名
a1.sources.r1.bind = host01
a1.sources.r1.port = 12345

# 配置sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://host01:8020/flume
# 配置输出内容的文件格式
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text

# 配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 设置source和sink连接到哪些channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 启动Agent
flume-ng agent \
--conf /opt/flume-1.9.0/conf \
--conf-file /opt/flume-1.9.0/agents/Netcat_to_HDFS.conf \
--name a1 \
-Dflume.root.logger=INFO,console

3.Exec_to_HDFS

使用Exec监控单文件变化采集数据发送到HDFS

  • 编写配置文件Exec_to_HDFS.conf

    # example.conf: A single-node Flume configuration

# Name the components on this agent
# 配置agent中所有组件的名称
# a1是agent的名字
# r1是source的名字
# k1是sink的名字
# c1是channel的名字
# 如果有多个组件 可以空格拼接多个名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source
# 设置source类型
a1.sources.r1.type = exec
# 监控root底下3.txt这个文件
a1.sources.r1.command = tail -F /root/3.txt

# 配置sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://host01:8020/flume
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text

# 配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 设置source和sink连接到哪些channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

    4.常用的Source、channel、sink

    • Source

      1. Exec用于监控单个文件的变化搭配tail-F使用
      2. spooling dir用于监控文件夹 将移动到文件夹中的新文件全部读取
      3. tailDir用于监控文件或者文件夹 并记录读取进度实现断点续读（推荐使用）

    • channel

      1. memory 将数据缓存到内容当中容量受制于agent的堆内存大小
      2. file 配置一个checkpoint目录用于将source采集的数据保存在磁盘上，agent重新启动后sink可以继续读取channel缓存的数据，避免数据丢失

    • sink

      • logger 用于测试 将数据打印到控制台

      • hdfs 将数据写入HDFS

      可以根据自己的需求使用不同Source、channel、sink搭配自己的Agent，编写配置文件

# Sink配置
# 类型
a1.sinks.k1.type = hdfs
# 存储路径
# 可以使用别名设置动态路径
a1.sinks.k1.hdfs.path = hdfs://host01:8020/flume/%Y-%m-%d-%H-%M/
# HDFSSink默认使用Hadoop中的SequenceFile存储数据
# 可以将其设置为DataStream用于开启普通字节流存储数据
a1.sinks.k1.hdfs.fileType = DataStream
# 设置文件的输出格式
# HDFS Sink默认使用Writable
# 采集日志时可以设置为Text用文本保存
a1.sinks.k1.hdfs.writeFormat = Text
# 使用本地时间作为时间戳标识
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 滚动生成新文件的周期 单位秒
a1.sinks.k1.hdfs.rollInterval = 60
# 滚动生成新文件的大小  单位字节
a1.sinks.k1.hdfs.rollSize = 134217728
# 滚动生成新文件的数据条数  设置为0 关闭以条数滚动文件的条件
a1.sinks.k1.hdfs.rollCount = 0

配置sink中的各个参数，调整日志生成的格式，以及生成周期，生成文件

5.常用架构

file

file

file

file

6.举例

file

以两个Agent为例

  • 编写第一个Agent的配置文件Tail_to_Avro.conf
# example.conf: A single-node Flume configuration

# Name the components on this agent
# 配置agent中所有组件的名称
# a1是agent的名字
# r1是source的名字
# k1是sink的名字
# c1是channel的名字
# 如果有多个组件 可以空格拼接多个名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source
# 设置source类型
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = g1 g2
a1.sources.r1.filegroups.g1 = /root/log/.*
a1.sources.r1.filegroups.g2 = /root/6.txt


# Sink配置
# 类型
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = host02
a1.sinks.k1.port = 12345


# 配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 设置source和sink连接到哪些channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 编写第二个配置文件Avro_to_HDFS.conf
# example.conf: A single-node Flume configuration

# Name the components on this agent
# 配置agent中所有组件的名称
# a1是agent的名字
# r1是source的名字
# k1是sink的名字
# c1是channel的名字
# 如果有多个组件 可以空格拼接多个名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source
# 设置source类型
a1.sources.r1.type = avro
a1.sources.r1.bind = host02
a1.sources.r1.port = 12345


# Sink配置
# 类型
a1.sinks.k1.type = hdfs
# 存储路径
# 可以使用别名设置动态路径
a1.sinks.k1.hdfs.path = hdfs://host01:8020/flume/%Y-%m-%d-%H/
# HDFSSink默认使用Hadoop中的SequenceFile存储数据
# 可以将其设置为DataStream用于开启普通字节流存储数据
a1.sinks.k1.hdfs.fileType = DataStream
# 设置文件的输出格式
# HDFS Sink默认使用Writable
# 采集日志时可以设置为Text用文本保存
a1.sinks.k1.hdfs.writeFormat = Text
# 使用本地时间作为时间戳标识
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 滚动生成新文件的周期 单位秒
a1.sinks.k1.hdfs.rollInterval = 3600
# 滚动生成新文件的大小  单位字节
a1.sinks.k1.hdfs.rollSize = 134217728
# 滚动生成新文件的数据条数  设置为0 关闭以条数滚动文件的条件
a1.sinks.k1.hdfs.rollCount = 0

# 配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 设置source和sink连接到哪些channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在host01上面运行Tail_to_Avro.conf，在host02上面启动Avro_to_HDFS.conf服务接收来自host01上面的文件数据

Zi yo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume 1.7 源码分析（三）程序入口
Lnho的专栏
02-27 4144
Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 Flume 1.7 源码分析（三）程序入口 4 程序入口启动Flume的过程可以简单分为2个步骤： 1. 获取相关配置文件（一般来说就是flume-conf.properties）。 2. 启动各组件。不特别说明，本文中的组件是指实现了LifecycleAware接口的类的对象，一般就是
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
Flume读取数据库JDBC源程序
12-02
Flume读取数据库JDBC源程序,这样Flume就可以读取关系型数据作为数据源，通过简单配置即可实现数据库连接
Flume入门
qq_41547580的博客
01-08 326
一、什么是Flume？ 是一个分布式可靠的高可用的海量日志收集、聚合、移动的工具。 通俗来说flume就是一个日志采集工具。 二、flume的特性 1）flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中 （这里测试时是以集群中不同主机作为一个服务器，然后采集不同主机上的日志文件并存入HDFS） 2）移交数据速度快。 flume可以将从多个服务器中获取的数据迅速移交给...
Flume部署及简单应用
weixin_48998089的博客
06-02 213
# Flume官网: http://flume.apache.org/## Flume安装1.下载安装包wget 链接地址 --no-check-certificate2.解压```shtar zxvf 压缩包```3.配置Java环境变量```shcd $FLUME_HOME/confmv flume-env.sh.template flume-env.shvi flume-env.sh-----------------------------------------export JAVA_HOME=/u
Flume入门学习
其实我是个程序员的博客
05-27 133
1.Flume是一个可收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储(HBase/Hadoop)的工具/服务。 Flume具有高可用，分布式，配置工具. Cloud\facbook\WebServers\Twitter(Log/Event data) ->Flume ->HDFS/HBase 2.Flume Agent Flume内部有一个或者多个Agent，然而对于每一个Agent来说，它就是一个独立的守护进程(JVM), 它从客户端接收数据，然后迅速将获取
flume
03-25
Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.5.1/
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
flume安装程序
12-10
请解压后再用，flume-1.6.0-bin.tar 安装包，希望对大家有用。
Flume集群搭建1
08-08
hadoop12下载flume安装包wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/ap
flume系列(一)部署示例及组件介绍
qq_38130094的博客
09-03 509
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。
Flume 数据流监控
weixin_43497444的博客
03-15 320
1.Ganglia 的安装与部署 安装httpd服务与php [hadoop@hadoop102 flume]$ sudo yum -y install httpd php 安装其他依赖 [hadoop@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel [hadoop@hadoop102 fl...
Flume学习笔记
qq_48238787的博客
08-25 402
1:Flume概述 1.1: Flume 定义  Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。Flume 基于流式架构，灵活简单。 为什么选用Flume: 1.2: Flume 基础架构 Flume 组成架构如图所示： 下面我们来详细介绍一下 Flume 架构中的组件： Agent     Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。    Agent 主要有 3 个部分组成，Source、Channel、Sin
flume学习00---Data flow model
chbxw
03-18 680
一·、flume的数据流模型Flume Event被定义为具有有字节的字节载荷和可选的字符串属性结合的数据流单元，flume agent 是承载事件从外部源流向下一个目的地的组件的JVM进程。下图为Flume agent流程图 Flume source 消费由外部源（如Web Server）传递给他的事件。 外部源以一种格式化的Event发送给Flume,能够被目标 Flume sourc
Flume的使用
阳哥的博客
08-28 1486
Flume软件的使用是需要我们通过配置文件完成的，编写Flume采集数据的脚本文件，脚本文件我们一般叫xxx.conf这样的文件，这个脚本文件中配置的是flume采集框架中的source连接的数据源、sink连接的目的地，以及source和channel\sink如何连接，配置文件编写完成，然后使用Flume相关命令启动即可实现数据采集。 其具体使用可参考官网http://flume.apache.org/documentation.html，选择Flume Develo...
Flume日志收集
weixin_33828101的博客
05-25 348
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先...
Flume工作流程及相关介绍
weixin_34279246的博客
04-29 1633
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume介绍、基础架构+Flume安装+Flume开发脚本+编写Flume拦截器+埋点数据装载到Hive
qq_43476430的博客
04-19 4353
一、Flume是什么？+项目背景 1.Flume介绍 Flume 基于流式架构是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 本项目 Flume 实时读取服务器本地目录下生成的埋点数据，将数据实时写入到HDFS。 有的公司涉及几十甚至上百的的web服务器 操作流程可能如下： 二、Flume基础架构 1、核心组件 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目标地。 主要有 3 个部分组成，Source、Chann.
flume安装与使用
m0_64416846的博客
04-11 1647
一，Flume 基础架构 1.1 Agent   Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。   Agent 主要有三个组成部分，Source、Channel、Sink。 1.2Source   Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、.
flume sdtpsource
最新发布
02-23
Flume是一个可靠、可扩展且可管理的分布式日志收集系统，用于将大量的日志数据从各种数据源（如Web服务器、数据库、应用程序等）收集到中央存储或数据处理平台。Flume提供了多种数据源和目的地的组件，其中之一就是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值