数据收集之Flume实战

于 2024-09-29 16:42:39 发布
阅读量432 收藏 5
点赞数 15
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18138507/article/details/142638869
版权

1、Flume介绍


三大组件：Source、Channel、Sink

Source：

从Client上收集数据并对数据进行格式化，以Event（事件）的形式传递给单个或者多个Event

Channel：

短暂的存储容器，将从Source接收到的Event进行缓存直接被Sink消费掉，Channel是Source和Sink之间的桥梁，Channel是一个完整的事务，能保证了数据在收发时的一致性，并且一个Channel可以同时和任意数量的Source和Sink建立连接。

Sink：

从Channel中消费数据（Event）并传递到存储容器（Hbase、HDFS）或其他的Source中。

工作流程：

把数据从数据源（Source）收集过来，在将收集到的数据送到指定的目的地（Sink）

为了保证输送过程一定成功，在送到目的地（Sink）之前，会先缓存数据（Channel），待数据真正到达目的地（Sink）后，flume在删除自己缓存的数据。

什么是Event?

  1. event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录。
  2. event也是事务的基本单位
  3. event从source，流向channel，再到sink，本身为一个字节数组，并可以携带headers信息。

Agent

Flume以Agent最小的独立运行单元，Agent依赖于JVM，一个Agent的运行伴随一个JVM实例的产生。

一台机器可以运行多个Agent，一个Agent中可以包含多个Source、channel、sink。

1.1、Source组件

常用的source类型

描述

Avro Source

监听Avro端口并且以外部Avro客户端接受Event，需指定被监听IP和端口号

Exec Source

可以通过指定的Linux操作命令对日志进行读取，使用exec时需指定使用的命令

Spooling Directory Source

读取目录里的文件，当出现新文件时会读取该文件并获取数据（文件在读取过程中不能修改）

NetCat Source

监听指定的端口并将接收到的数据每一行转换为一个事件

Kafka Source

作为消费者，从Kafka的topic读取消息

Http Source

接受Http的GET和POST请求作为Flume的事件

Taildir Source

监控目录里的正则匹配文件，并支持断点续传

1.2、Channel组件

常用的Channel类型

描述

Memory Channel

存储Event在内存队列中，如果宕机可能会造成数据的丢失，具有很高的吞吐量

JDBC Channel

将Event存储在持久化的数据库中

Kafka Channel

将Event存储在Kafka中，Kafka提供了高可用和复制性，当Kafka或Agent崩溃时数据也不会丢失

File Channel

将Event持久化在本地文件系统里（性能较差）但可以保证数据不会丢失

Spillable Memory Channel

Event数据存储在内存和磁盘上，当内存队列满了将会持久化到磁盘文件

1.3、Sink组件

常用的sink类型

描述

Logger sink

将数据写到Flume的log中，通常用于测试或调试

Avro sink

将数据发送到其他Avri source

File Roll Sink

将数据放到本地文件系统中，根据时间或者大小生成文件

Kafka Sink

将文件写入Kafka中

HBase Sink

将数据写入HBase中

AsyncHBase Sink

使用异步的方式将数据写入HBase

Hive Sink

将数据写入Hive

HDFS Sink

将数据写入HDFS

ElasticSearch Sink

将数据写入ElasticSearch

MorphlineSolr Sink

将数据吸入Solr

2、安装Flume

2.1、先安装jdk

2.2、安装flume

配置flume运行大小

cd /usr/local/flume/conf
cp flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sum.management.jmxremote"

2.3、编写flume

a1.sources=r1
a1.sinks=k1
a1.channels=c1

#定义source
a1.sources.r1.type=netcat
a1.sources.r1.bind=linux-27309
a1.soruces.r1.port=44444

#定义channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity = 100

#定义sink
a1.sinks.k1.type=logger

#绑定
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

2.4、运行flume

flume-ng agent -n a1 -c /usr/local/flume/conf/ -f ./demo.agent -Dflume.root.logger=INFO,console

2.5、测试

telnet localhost 44444

3、实战Flume收集数据到hdfs

要求：数据采集

通过nginx先记录用户访问数据

3.1、安装nginx

（1）解压nginx压缩包

tar -zxvf nginx-1.22.1.tar.gz  -C /usr/local/

（2）到nginx目录下的configure编译

./configure

（3）安装

make && make install

（4）配置nginx的conf文件

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /data/access/access.log  main; ## 配置日志记录的位置

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

（5）到nginx的sbin目录下启动nginx

./nginx

3.2、安装hadoop

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

3.3、启动flume

（1）编写agent

a1.sources=r1
a1.sinks=k1
a1.channels=c1


a1.sources.r1.type=taildir
a1.sources.r1.positionFile=/data/flume/taildir_position.json
a1.sources.r1.filegroups=f1
a1.sources.r1.filegroups.f1=/data/access/access.log
a1.sources.r1.interceptors=i1
a1.sources.r1.interceptors.i1.type=timestamp

a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=/data/hainiu/access_log/%Y/%m%d
a1.sinks.k1.hdfs.rollInterval=300
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.filePrefix=access_%Y%m%d
a1.sinks.k1.hdfs.fileSuffix=.log.snappy
a1.sinks.k1.hdfs.fileType=CompressedStream
a1.sinks.k1.hdfs.codeC=snappy

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

（2）启动agent

flume-ng agent -n a1 -c /usr/local/flume/conf/ -f ./access.agent -Dflume.root.logger=INFO,console

4、实战Flume收集数据到Kafka

（1）配置agent

kafka.agent

a1.sources=r1
a1.sinks=k1
a1.channels=c1


a1.sources.r1.type=TAILDIR
a1.sources.r1.positionFile=/data/flume/data/taildir_position_access.json
a1.sources.r1.filegroups=f1
a1.sources.r1.filegroups.f1=/data/access/access.log


a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=100


a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers=kafka1-52837:9092
a1.sinks.k1.kafka.topic=access

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

（2）启动nginx

（3）启动flume

flume-ng agent -n a1 -c /usr/local/flume/conf/ -f ./kafka.agent -Dflume.root.logger=INFO,console

（4）启动kafka消费者

kafka-console-consumer.sh --bootstrap-server kafka1-52837:9092 --topic access

5、实战Flume收集数据到hdfs和kafka

（1）启动kafka

kafka-console-consumer.sh --bootstrap-server kafka1-52837:9092 --topic accesscomplex

（2）编写accesscomplex的agent

accesscomplex.agent

a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

a1.sources.r1.type=taildir
a1.sources.r1.positionFile=/data/flume/position.json
a1.sources.r1.filegroups=f1
a1.sources.r1.filegroups.f1=/data/access/access.log
a1.sources.r1.interceptors=i1
a1.sources.r1.interceptors.i1.type.timestamp=true

a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=/data/hainiu/access_log/%Y/%m%d
a1.sinks.k1.hdfs.rollInterval=300
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.filePrefix=access_%Y%m%d
a1.sinks.k1.hdfs.fileSuffix=.log.snappy
a1.sinks.k1.hdfs.fileType=CompressedStream
a1.sinks.k1.hdfs.codeC=snappy

a1.sinks.k2.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k2.kafka.bootstrap.servers=kafka1-52837:9092
a1.sinks.k2.kafka.topic=accesscomplex

a1.sources.r1.channels=c1 c2
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2

（3）重启nginx

/usr/local/nginx/sbin/nginx -s reload

6、扩展

一、put事务

1、doPut操作，将批数据写入到临时缓存区，Putlist中

2、doCommit操作：检查channel队列中是否有足够空间用来存放数据

3、如果channel空间不够，就会执行回滚数据的操作（doRollBack）

二、take事务

1、doTake操作，将数据写入临时缓存区，Takelist中

2、doCommit操作:将数据对外通过sink对外发送，如果发送成功，则清楚takelist的数据

3、如果发送失败则数据回滚

7、总结

谁能凭爱意将富士山私有丶
关注
大数据日志收集框架之Flume实战
2401_84181731的博客
04-27 764
五、Flume 通道。
Flume 数据采集实战
12-22
《Flume 数据采集实战》 Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集...
【大数据实战】flume 数据采集
一片冰心
04-07 5597
目录flume快速开始概述系统要求数据流模型安装一个简单的例子采集源目录源执行源Kafka源NetCat TCP 源avro source接收器logger sinkavro sinkHDFS 接收器弹性搜索接收器多层代理实战采集目录文件到HDFS flume 快速开始 概述 Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传
2024年最全大数据日志收集框架之Flume实战，一个大数据开发应届生从上海离职
kenzsoft的博客
05-05 733
五、Flume 通道。
大数据最新大数据日志收集框架之Flume实战
2401_84182578的博客
05-04 533
五、Flume 通道。
数据采集-flume-实战
epitomizelu的专栏
11-24 978
一，安装 1，下载 http://archive.apache.org/dist/flume/ 2，解压即安装 3，删除一个jar包，这个包和hadoop中的包冲突 rm /module/flume/lib/guava-11.0.2.jar 删除之后要配置Hadoop_Home的环境变量 4，配置文件 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件 mv flume-env.sh.template flume-e
最全大数据日志收集框架之Flume实战(1)
2301_82243558的博客
05-04 884
五、Flume 通道。
（二十三）大数据实战——Flume数据采集之采集数据聚合案例实战
厉害哥哥的博客
09-06 2233
本节内容我们主要介绍一下Flume数据采集过程中，如何把多个数据采集点的数据聚合到一个地方供分析使用。我们使用hadoop101服务器采集nc数据，hadoop102采集文件数据，将hadoop101和hadoop102服务器采集的数据聚合到hadoop103服务器输出到控制台。
Flume-实战
li1019865596的博客
07-13 375
Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚 合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集日志的数据采集引擎。 Flume有3个重要组件：Source、Channel、Sink 特点： 分布式：flume分布式集群部署，扩展性好 可靠性好: 当节点出现故障时，日志能够被传送到其...
大数据技术之flume——日志收集系统
five小点心的博客
03-16 2150
大数据需要解决的三个问题：采集、存储、计算。Apache flume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
实战Flume基础
05-13
在多层Agent的数据收集场景下，Flume采用handoff机制来处理数据传输，即一个Agent会将Event发送到另一个Agent的Source中，后者会存储Event，并在完成后返回OK信号，最后由第一个Agent提交或回滚事务。 Flume还支持...
大数据新视界 --大数据大厂之大数据实战指南：Apache Flume 数据采集的配置与优化秘籍
青云交的博客
09-24 2245
本文深入介绍 Apache Flume，涵盖其定义、特点、工作原理、安装部署、配置、高级功能及优化策略。包括自定义拦截器、多 Agent 级联，性能与可靠性优化，经典案例分析，与 Spark、Flink 集成，大规模分布式系统应用，实际问题解决及性能测试等内容。为大数据采集提供全面指导，助力开发者高效利用 Flume 进行数据采集与处理。
Flink和Spark的区别
docsz的博客
09-25 913
flink和spark的区别
基于Hive和Hadoop的哔哩哔哩网站分析系统
最新发布
图南的博客
09-27 444
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
企业内训｜大模型/智算行业发展机会深度剖析-某数据中心厂商
weixin_48649532的博客
09-26 1193
汶生老师在培训中深入剖析了大模型的底层原理、技术进展以及在全球及国内的竞争态势，强调大模型在未来的发展将依赖于AI生成的数据和更高效的算力解决方案，为AI中间层、AI应用开发平台及教育、商业模式等领域提供了新的机遇。他特别指出，数据壁垒对AI性能的制约性日益显现，自监督学习向泛化智能的演进路径成为未来行业的重要发展方向。
主流NoSQL及应用场景详解
qq_22201881的博客
09-24 1375
（编注0：本文以下内容英文出处：Kristóf Kovács）NoSQL数据库之间的不同，远超过两 SQL数据库之间的差别。针对这种情况，这里 Cassandra、 Mongodb、 CouchDB、 Redis、 Riak、 Membase、 Neo4j 和 HBase 进行了比较。我承认对 Cassandra有偏见，一部分是因为它本身的臃肿和复杂性，也因为 Java的问题（配置，出现异常，等等）虽然采用简单数据或以键值索引的哈希表，但也支持复杂操作，例如 ZREVRANGEBYSCORE。
利用 Flink CDC 实现实时数据同步与分析
hello.reader
09-25 1513
Flink CDC（Change Data Capture）是一种用于实时捕获和处理数据库中数据变更的技术。它通过监控数据库的变更事件，将这些事件转化为流式数据，使得数据处理系统（如 Apache Flink）能够以流的方式实时处理和分析数据。Flink CDC 支持多种数据库（如 MySQL、PostgreSQL、Oracle 等），并利用增量数据捕获的机制，确保系统在高并发情况下依然能够高效运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值