分布式日志收集系统 —— Flume

最新推荐文章于 2024-04-29 21:08:01 发布
最新推荐文章于 2024-04-29 21:08:01 发布
阅读量258 收藏
点赞数
文章标签： 大数据 shell 操作系统
原文链接：http://www.cnblogs.com/heibaiying/p/11439250.html
版权

一、Flume简介

Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。

二、Flume架构和基本概念

下图为 Flume 的基本架构图：

flume-architecture.png

2.1 基本架构

外部数据源以特定格式向 Flume 发送 events (事件)，当 source 接收到 events 时，它将其存储到一个或多个 channel，channe 会一直保存 events 直到它被 sink 所消费。sink 的主要功能从 channel 中读取 events，并将其存入外部存储系统或转发到下一个 source，成功后再从 channel 中移除 events。

2.2 基本概念

1. Event

Evnet 是 Flume NG 数据传输的基本单元。类似于 JMS 和消息系统中的消息。一个 Evnet 由标题和正文组成：前者是键/值映射，后者是任意字节数组。

2. Source

数据收集组件，从外部数据源收集数据，并存储到 Channel 中。

3. Channel

Channel 是源和接收器之间的管道，用于临时存储数据。可以是内存或持久化的文件系统：

  • Memory Channel : 使用内存，优点是速度快，但数据可能会丢失 (如突然宕机)；
  • File Channel : 使用持久化的文件系统，优点是能保证数据不丢失，但是速度慢。

4. Sink

Sink 的主要功能从 Channel 中读取 Evnet，并将其存入外部存储系统或将其转发到下一个 Source，成功后再从 Channel 中移除 Event。

5. Agent

是一个独立的 (JVM) 进程，包含 Source、 Channel、 Sink 等组件。

2.3 组件种类

Flume 中的每一个组件都提供了丰富的类型，适用于不同场景：

  • Source 类型 ：内置了几十种类型，如 Avro Source，Thrift Source，Kafka Source，JMS Source；

  • Sink 类型 ：HDFS Sink，Hive Sink，HBaseSinks，Avro Sink 等；

  • Channel 类型 ：Memory Channel，JDBC Channel，Kafka Channel，File Channel 等。

对于 Flume 的使用，除非有特别的需求，否则通过组合内置的各种类型的 Source，Sink 和 Channel 就能满足大多数的需求。在 Flume 官网 上对所有类型组件的配置参数均以表格的方式做了详尽的介绍，并附有配置样例；同时不同版本的参数可能略有所不同，所以使用时建议选取官网对应版本的 User Guide 作为主要参考资料。

三、Flume架构模式

Flume 支持多种架构模式，分别介绍如下

3.1 multi-agent flow

flume-multi-agent-flow.png


Flume 支持跨越多个 Agent 的数据传递，这要求前一个 Agent 的 Sink 和下一个 Agent 的 Source 都必须是 Avro 类型，Sink 指向 Source 所在主机名 (或 IP 地址) 和端口（详细配置见下文案例三）。

3.2 Consolidation

flume-consolidation.png


日志收集中常常存在大量的客户端（比如分布式 web 服务），Flume 支持使用多个 Agent 分别收集日志，然后通过一个或者多个 Agent 聚合后再存储到文件系统中。

3.3 Multiplexing the flow

flume-multiplexing-the-flow.png

Flume 支持从一个 Source 向多个 Channel，也就是向多个 Sink 传递事件，这个操作称之为 Fan Out(扇出)。默认情况下 Fan Out 是向所有的 Channel 复制 Event，即所有 Channel 收到的数据都是相同的。同时 Flume 也支持在 Source 上自定义一个复用选择器 (multiplexing selector) 来实现自定义的路由规则。

四、Flume配置格式

Flume 配置通常需要以下两个步骤：

  1. 分别定义好 Agent 的 Sources，Sinks，Channels，然后将 Sources 和 Sinks 与通道进行绑定。需要注意的是一个 Source 可以配置多个 Channel，但一个 Sink 只能配置一个 Channel。基本格式如下：
<Agent>.sources = <Source>
<Agent>.sinks = <Sink>
<Agent>.channels = <Channel1> <Channel2>

# set channel for source
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...

# set channel for sink
<Agent>.sinks.<Sink>.channel = <Channel1>
  1. 分别定义 Source，Sink，Channel 的具体属性。基本格式如下：

<Agent>.sources.<Source>.<someProperty> = <someValue>

# properties for channels
<Agent>.channel.<Channel>.<someProperty> = <someValue>

# properties for sinks
<Agent>.sources.<Sink>.<someProperty> = <someValue>

五、Flume的安装部署

为方便大家后期查阅，本仓库中所有软件的安装均单独成篇，Flume 的安装见：

Linux 环境下 Flume 的安装部署

六、Flume使用案例

介绍几个 Flume 的使用案例：

  • 案例一：使用 Flume 监听文件内容变动，将新增加的内容输出到控制台。
  • 案例二：使用 Flume 监听指定目录，将目录下新增加的文件存储到 HDFS。
  • 案例三：使用 Avro 将本服务器收集到的日志数据发送到另外一台服务器。

6.1 案例一

需求： 监听文件内容变动，将新增加的内容输出到控制台。

实现： 主要使用 Exec Source 配合 tail 命令实现。

1. 配置

新建配置文件 exec-memory-logger.properties,其内容如下：

#指定agent的sources,sinks,channels
a1.sources = s1  
a1.sinks = k1  
a1.channels = c1  
   
#配置sources属性
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /tmp/log.txt
a1.sources.s1.shell = /bin/bash -c

#将sources与channels进行绑定
a1.sources.s1.channels = c1
   
#配置sink 
a1.sinks.k1.type = logger

#将sinks与channels进行绑定  
a1.sinks.k1.channel = c1  
   
#配置channel类型
a1.channels.c1.type = memory
2. 启动　
flume-ng agent \
--conf conf \
--conf-file /usr/app/apache-flume-1.6.0-cdh5.15.2-bin/examples/exec-memory-logger.properties \
--name a1 \
-Dflume.root.logger=INFO,console
3. 测试

向文件中追加数据：

flume-example-1.png

控制台的显示：

flume-example-2.png

6.2 案例二

需求： 监听指定目录，将目录下新增加的文件存储到 HDFS。

实现：使用 Spooling Directory Source 和 HDFS Sink。

1. 配置
#指定agent的sources,sinks,channels
a1.sources = s1  
a1.sinks = k1  
a1.channels = c1  
   
#配置sources属性
a1.sources.s1.type =spooldir  
a1.sources.s1.spoolDir =/tmp/logs
a1.sources.s1.basenameHeader = true
a1.sources.s1.basenameHeaderKey = fileName 
#将sources与channels进行绑定  
a1.sources.s1.channels =c1 

   
#配置sink 
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H/
a1.sinks.k1.hdfs.filePrefix = %{fileName}
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream  
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#将sinks与channels进行绑定  
a1.sinks.k1.channel = c1
   
#配置channel类型
a1.channels.c1.type = memory
2. 启动
flume-ng agent \
--conf conf \
--conf-file /usr/app/apache-flume-1.6.0-cdh5.15.2-bin/examples/spooling-memory-hdfs.properties \
--name a1 -Dflume.root.logger=INFO,console
3. 测试

拷贝任意文件到监听目录下，可以从日志看到文件上传到 HDFS 的路径：

# cp log.txt logs/
flume-example-3.png

查看上传到 HDFS 上的文件内容与本地是否一致：

# hdfs dfs -cat /flume/events/19-04-09/13/log.txt.1554788567801
flume-example-4.png

6.3 案例三

需求： 将本服务器收集到的数据发送到另外一台服务器。

实现：使用 avro sources 和 avro Sink 实现。

1. 配置日志收集Flume

新建配置 netcat-memory-avro.properties，监听文件内容变化，然后将新的文件内容通过 avro sink 发送到 hadoop001 这台服务器的 8888 端口：

#指定agent的sources,sinks,channels
a1.sources = s1
a1.sinks = k1
a1.channels = c1

#配置sources属性
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /tmp/log.txt
a1.sources.s1.shell = /bin/bash -c
a1.sources.s1.channels = c1

#配置sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop001
a1.sinks.k1.port = 8888
a1.sinks.k1.batch-size = 1
a1.sinks.k1.channel = c1

#配置channel类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
2. 配置日志聚合Flume

使用 avro source 监听 hadoop001 服务器的 8888 端口，将获取到内容输出到控制台：

#指定agent的sources,sinks,channels
a2.sources = s2
a2.sinks = k2
a2.channels = c2

#配置sources属性
a2.sources.s2.type = avro
a2.sources.s2.bind = hadoop001
a2.sources.s2.port = 8888

#将sources与channels进行绑定
a2.sources.s2.channels = c2

#配置sink
a2.sinks.k2.type = logger

#将sinks与channels进行绑定
a2.sinks.k2.channel = c2

#配置channel类型
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
3. 启动

启动日志聚集 Flume：

flume-ng agent \
--conf conf \
--conf-file /usr/app/apache-flume-1.6.0-cdh5.15.2-bin/examples/avro-memory-logger.properties \
--name a2 -Dflume.root.logger=INFO,console

在启动日志收集 Flume:

flume-ng agent \
--conf conf \
--conf-file /usr/app/apache-flume-1.6.0-cdh5.15.2-bin/examples/netcat-memory-avro.properties \
--name a1 -Dflume.root.logger=INFO,console

这里建议按以上顺序启动，原因是 avro.source 会先与端口进行绑定，这样 avro sink 连接时才不会报无法连接的异常。但是即使不按顺序启动也是没关系的，sink 会一直重试，直至建立好连接。

flume-retry.png
4.测试

向文件 tmp/log.txt 中追加内容：

flume-example-8.png

可以看到已经从 8888 端口监听到内容，并成功输出到控制台：

flume-example-9.png

更多大数据系列文章可以参见 GitHub 开源项目： 大数据入门指南

转载于:https://www.cnblogs.com/heibaiying/p/11439250.html

weixin_30362083
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume-ng-1.6.0-cdh5.13.2
12-19
CDH版本的flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
基于Apache Flume的分布式日志收集系统设计与实现.pdf
08-10
#资源达人分享计划#
最佳日志实践_了解事件和日志管理最佳实践
culing2941的博客
09-16 250
Log management is considered one of the key elements when it comes to managing, maintaining and troubleshooting IT systems. However, the success that you can reap from log management will trickle down...
网站日志实时分析（一）：flume+kafka+Flink连通
weixin_43272605的博客
03-02 7228
这里flume+kafka+Flink Cluster总体架构就是这个样子。 我们将多个Tomcat Server的Web服务器，或者其他的网站服务器都看你而定，没台节点上都配置了Flume Agent，用来收集本地日志目录。然后在另一台节点配置了Flume Consolidation Agent，用来收集各个Web服务器的Flume Agent的数据，然后送入Kafka Cluster。然后K...
flume详解
qq_45048256的博客
12-29 4358
flume详解
Flume简介、特点、核心概念及安装
热门推荐
qq_30612351的博客
11-09 1万+
一、什么是flume? flume是一个可分布式日志收集系统，为hadoop相关组件之一。 Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。 Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 二、Flume特性 Flume是一个分布式、可靠、和高可用的海量日志采.
大数据技术——Flume简介&安装配置&使用案例
weixin_44606952的博客
11-29 8299
1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3. Flume 使用案例 3.1 实时监控单个追加文件 3.2 实时监控目录下多个新文件 3.3 实时监控目录下的多个追加文件
Flume介绍、基础架构+Flume安装+Flume开发脚本+编写Flume拦截器+埋点数据装载到Hive
qq_43476430的博客
04-19 4232
一、Flume是什么？+项目背景 1.Flume介绍 Flume 基于流式架构是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 本项目 Flume 实时读取服务器本地目录下生成的埋点数据，将数据实时写入到HDFS。 有的公司涉及几十甚至上百的的web服务器 操作流程可能如下： 二、Flume基础架构 1、核心组件 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目标地。 主要有 3 个部分组成，Source、Chann.
实时数据流采集工具Flume
浅谈
06-22 5801
Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。
大数据开发笔记（六）：Flume基础学习
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 4718
Flume基础 1、Flume是什么？ Flume是数据采集，日志收集的框架，通过分布式形式进行采集,(高可用分布式) 本质：可以高效从各个网站服务器中收集日志数据，并且存储到HDFS、hbase 2、Flume可以对接的数据源？ Console、RPC、Text、Tail、Syslog、Exec等 3、Flume接受的数据源输出目标？ 磁盘，hdfs,hbase, 经过网络传输kafka data->flume->kafka->spark stre...
基于Flume的分布式日志聚合系统的研究.pdf
08-09
#资源达人分享计划#
基于Flume的分布式日志采集分析系统设计与实现.pdf
08-09
#资源达人分享计划#
Flume构建高可用、可扩展的海量日志采集系统
10-31
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可...
日志收集之Flume
02-25
日志是系统数据的基石，对于系统的安全来说...Cloudera开发的分布式日志收集系统Flume，是hadoop周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到hdfs中。Flume初始的发行版本目前被统称为FlumeOG（ori
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 801
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
生产数据采集系统
weixin_50072277的博客
04-23 698
在数字化浪潮的推动下，生产数据采集系统已经成为企业提升生产效率、优化运营管理的关键工具。那么，什么是生产数据采集系统呢？简单来说，生产数据采集系统是指通过一系列技术手段，实时收集、处理和分析生产线上的各类数据，从而为企业的决策提供有力支持的系统。
哪些情况下左联接的数据量比左表大？
Java/Python/大数据干货分享
04-26 350
本文主要探讨SQL和Pandas左连接数据量比左表大的问题。在某些情况下，执行左连接时，SQL和Pandas输出的结果会比左表数据量大。这是为什么呢？左连接是关系型数据库中最常见的连接之一。它的作用是从左表中取出所有的行，以及与右表匹配的所有行。如果某个行在右表中没有匹配到，则会在输出结果中以NULL的形式呈现1）左表与右表为一对多或多对多2）左表与右表关联键都存在空值NULL1）视情景删除或聚合右表中重复关联键的数据2）过滤表中关联键值为NULL的行。
25计算机考研院校数据分析 | 电子科技大学
最新发布
m0_72717598的博客
04-29 413
是国家“985工程”、“211工程”、“世界一流大学和一流学科”重点建设高校，入选“2011计划”、“111计划”、“卓越工程师教育培养计划”、“国家建设高水平大学公派研究生项目”、“中国政府奖学金来华留学生接收院校”，两电一邮成员。题库中抽取题目作答，重点考查程序设计、算法设计与分析、软件工程、计算机组成原理、数据库、计算机网络、编译原理、密码学（该科目限报考083900网络空间安全专业考生）等基础知识情况。101思想政治理论、201英语一、301数学一、820计算机专业基础【22数据结构+操作系统】
25计算机考研院校数据分析 | 四川大学
m0_72717598的博客
04-24 655
复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩，复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩。复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分和实践能力部分共占120分，面试占80分，笔试和面试成绩之和为复试成绩。
基于Flume的日志采集系统
03-26
Flume是一个可靠、可扩展的分布式服务，用于高效地收集、聚合和移动大量的日志数据和事件。 Flume采用了基于数据流的体系结构，其主要目的是将数据从不同的数据源（例如Web服务器、数据库等）采集并将其传输到目标位置（例如Hadoop、Elasticsearch等）。在日志采集中，Flume通常被用作采集工具，它可以将日志数据收集到集中的位置，方便后续处理和分析。 Flume的体系结构由三个主要组件组成：Source、Channel和Sink。Source用于从数据源中获取数据，例如从日志文件、网络接口、系统日志等收集数据。Channel是一种缓冲机制，用于将数据从Source传输到Sink。Sink负责将数据发送到目标位置，例如将日志数据写入Hadoop HDFS或Apache Kafka等分布式消息系统中。Flume支持不同的Source和Sink，因此可以很容易地对不同类型的数据源进行采集和分发。 在使用Flume构建日志采集系统时，可以使用以下步骤： 1.选择和配置Source，例如使用TailSource从文件中收集日志数据。 2.选择和配置Channel，例如使用MemoryChannel将数据保存在内存中进行传输。 3.选择和配置Sink，例如使用HDFSSink将数据写入Hadoop HDFS中。 4.设置事件处理器，例如使用Interceptors进行数据转换和转发。 5.启动Flume Agent并监视其状态。 通过这些步骤，可以使用Flume快速构建高可用、高扩展性的日志采集系统。Flume还提供了灵活的配置选项和监视工具，可以方便地对系统进行管理和维护。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值