Liunx安装Flume和生产环境配置

最新推荐文章于 2022-11-14 17:58:11 发布
最新推荐文章于 2022-11-14 17:58:11 发布
阅读量299 收藏 1
点赞数
分类专栏： Liunx安装 文章标签： liunx flume 生产 环境 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011374856/article/details/103487148
版权

一、简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

二、Flume下载

官网：http://flume.apache.org

下载：http://www.apache.org/dist/flume

#远程下载 版本1.8
wget http://www.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

三、Flume安装

1、解压压缩包

tar -zxvf apache-flume-1.8.0-bin.tar.gz

2、配置环境变量

#配置当前用户环境变量
vi ~/.bash_profile
 
#在文件中添加如下命令，记得切换自己文件路径
export FLUME_HOME=/home/app/apache-flume-1.8.0
export PATH=$FLUME_HOME/bin:$PATH
 
#立即生效
source ~/.bash_profile

四、侦听网络端口数据

1、新增flume-port.conf文件

vi flume-port.conf

2、编辑flume-port.conf文件

#####################################################################

#定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1

##定了该agent中的sinks组件叫做k1
a1.sinks = k1

##定了该agent中的channels组件叫做c1
a1.channels = c1

#####################################################################

# 监听数据源的方式，这里采用监听网络端口
#source的类型为网络字节流
a1.sources.r1.type = netcat

#source监听的网络的hostname
a1.sources.r1.bind = woniu2

#source监听的网络的port
a1.sources.r1.port = 9527

#####################################################################

# 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger

#####################################################################

# 描述channel的部分，使用内存做数据的临时存储
#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory

#定义了channel对的容量
a1.channels.c1.capacity = 1000

#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100 

#####################################################################

# 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-port.conf -Dflume.root.logger=INFO,console

4、安装telnet

#安装telnet-server
yum install -y telnet-server.x86_64

#安装telnet
yum install -y telnet.x86_64

5、发送数据

#连接
telnet woniu2 9527

6、测试案例 

五、侦听新增文件

1、新增flume-file.conf文件

vi flume-file.conf

2、编辑flume-file.conf文件

#####################################################################

#定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1
 
##定了该agent中的sinks组件叫做k1
a1.sinks = k1
 
##定了该agent中的channels组件叫做c1
a1.channels = c1

#####################################################################

# 监听数据源的方式，这里采用监听目录中的新增文件
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/data/flume
a1.sources.r1.fileSuffix = .woniu
# a1.sources.r1.deletePolicy = immediate
a1.sources.r1.deletePolicy = never
a1.sources.r1.fileHeader = true

#####################################################################

# 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger

#####################################################################

# 描述channel的部分，使用内存做数据的临时存储

#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory

#定义了channel对的容量
a1.channels.c1.capacity = 1000

#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100

#####################################################################

# 使用channel将source和sink连接起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-file.conf -Dflume.root.logger=INFO,console

4、测试案例

六、监听文件中的新增数据

1、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

2、新增flume-content.conf文件

vi flume-content.conf

3、编辑flume-file.conf文件

#####################################################################

#定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1

##定了该agent中的sinks组件叫做k1
a1.sinks = k1

##定了该agent中的channels组件叫做c1
a1.channels = c1

#####################################################################

# 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /home/data/flume/woniu.log

#####################################################################

# 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger

#####################################################################

# 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file

# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint

#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000

# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data


#####################################################################

# 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-content.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

6、测试案例

七、flume数据保存到HDFS

1、安装hadoop

https://blog.csdn.net/u011374856/article/details/103310627

2、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

3、新增flume-hdfs.conf文件

vi flume-hdfs.conf

4、编辑flume-hdfs.conf文件

#####################################################################

#定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1

##定了该agent中的sinks组件叫做k1
a1.sinks = k1

##定了该agent中的channels组件叫做c1
a1.channels = c1

#####################################################################

# 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /home/data/flume/woniu.log

#####################################################################

# 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = hdfs

#存储路径
a1.sinks.k1.hdfs.path = hdfs://10.0.7.62:6001/flume/%Y%m%d

# 文件生成后的前缀
a1.sinks.k1.hdfs.filePrefix = ttpark

# 文件生成后的后缀
a1.sinks.k1.hdfs.fileSuffix = .log

# 文件使用时的前缀
a1.sinks.k1.hdfs.inUsePrefix = woniu.

# 文件使用时的后缀
a1.sinks.k1.hdfs.inUseSuffix = .txt

a1.sinks.k1.hdfs.rollInterval = 60

a1.sinks.k1.hdfs.rollSize = 0

a1.sinks.k1.hdfs.rollCount = 0

a1.sinks.k1.hdfs.useLocalTimeStamp = true

# 默认为SequenceFile，查看hdfs上的文件时为序列化的
a1.sinks.k1.hdfs.fileType = DataStream

# 上面的要配置，这个也要配置，写入的数据格式为文本内容
a1.sinks.k1.hdfs.writeFormat = Text

# 下面这个配置选项不加，那么rollInterval rollSize rollCount是不会生效的
a1.sinks.k1.hdfs.minBlockReplicas = 1

#####################################################################

# 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file

# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint

#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000

# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data


#####################################################################

# 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5、拷贝hadoop的jar包

#hadoop-common
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/hadoop-common-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/

#woodstox-core


#stax2-api
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/stax-api-1.0-2.jar $FLUME_HOME/lib/

#commons-configuration
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/commons-configuration-1.6.jar $FLUME_HOME/lib/

#hadoop-auth
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/hadoop-auth-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/

#htrace-core4
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/htrace-core4-4.0.1-incubating.jar $FLUME_HOME/lib/

#hadoop-hdfs
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/

6、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-hdfs.conf -Dflume.root.logger=INFO,console

7、写数据

echo hello woniu >> woniu.log

八、flume数据发送到Kafka

1、安装kafka

https://blog.csdn.net/u011374856/article/details/103471001

2、新增flume-kafka.conf文件

vi flume-kafka.conf

3、编辑flume-kafka.conf文件

#####################################################################

#定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1

##定了该agent中的sinks组件叫做k1
a1.sinks = k1

##定了该agent中的channels组件叫做c1
a1.channels = c1

#####################################################################

# 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /home/data/flume/woniu.log

#####################################################################

# 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

#kafka server的地址
a1.sinks.k1.brokerList = 10.0.7.62:9092

#topic
a1.sinks.k1.topic = woniu_topic_yao

a1.sinks.k1.batchSize = 5

a1.sinks.k1.requiredAcks = 1

#####################################################################

# 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file

# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint

#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000

# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data


#####################################################################

# 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-kafka.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

 

=蜗牛=
关注
专栏目录
flume的安装和配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1万+
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装，为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。熟练flume的安装和配置，理解flume的原理和应用本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+f
Flume安装配置
最新发布
m0_57883712的博客
05-07 535
本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：
Flume的各种类型的组件介绍
weixin_33726313的博客
10-07 332
1.   Source NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入； type：source的类型，必须是netcat。 bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。 port：绑定的本地的端口。   Avro Source：监听一个avro服务...
flume常用的拦截器和自定义拦截器
xuxu96
03-29 2357
在我们公司的一个项目中，在手机日志信息的时候需要设计一个拦截器方便后面数据的清洗和分类，减轻集群的压力。因此深入的研究了一下flume的拦截器 Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1....
Flume的安装及简单的使用（一）
qq_38799155的博客
09-18 1082
1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一个可用版本0.
Flume生产环境配置
LOGAN'S BLOG
10-06 458
1.解压flume到指定文件夹 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/apps 2.启动HDFS集群 start-dfs.sh 3.写脚本模拟日志生产 while true ; do echo $RANDOM >> a.log ; sleep 0.01 ; done //循环产生随机数写入到a.log中 4.配置flume中agent的相关配置信息 a1.sources = r1 --source的名字
Flume-ng生产环境编译测试
冷峰的空间
12-03 236
1.首先在系统上安装jdk1.6+和mvn3.X： $ java -version java version "1.6.0_31" Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-11M3635) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01-415, ...
生产环境下Flume配置
小蚂蚁的博客
11-14 925
鉴于网上关于flume的知识理论太多太杂，缺少生产环境下的配置方案，所以特发此篇我们集群的配置方案供大家参考。
Linux下Flume的安装
06-15
本文将详细介绍Linux下Flume的安装步骤和配置过程。 一、前置条件： Flume的安装需要依赖JDK 1.8以上的版本，因此需要首先安装JDK。JDK的安装方式可以参照Linux环境下JDK安装的教程。 二、安装步骤： 2.1 下载并...
Linux下Apache Flume的安装与配置教程
"本篇文章主要介绍了在Linux环境下安装Flume的数据收集...总结来说，这篇教程提供了Linux下Flume的基本安装过程，适合初学者了解Flume的安装和配置流程，但实际操作时可能需要根据具体的项目需求和版本差异进行调整。
Linux解压安装flume并创建启动最简版的agent教程
qq_61247494的博客
09-13 2248
Linux解压安装flume并创建启动最简版的agent教程
生产环境-数据仓库组件之Flume
zll_1234的博客
05-14 291
数据仓库组件之Flume 一、前言 ​ Flume是一个可以收集日志等数据资源，并将这些庞大的数据从各项数据源中集中起来存储的高可用，分布式的工具，其设计的原理也是基于数据流。 二、架构 1 架构示意图 2 架构说明： 根据我们公司的业务架构，生产环境的服务器基本上是两台，所产生的日志数据分别存放在自己的本地路径下，并没有在大数据集群的服务器上，所以我们需要Flume子节点将日志数据传输到大数据集群。 通过我们大数据集群上的Flume再下沉到Kafka集群 在下沉到Kafka集群时，需要遵守Kafka
Flume基础学习笔记
cp_panda_5的博客
03-14 381
一、什么是flumeFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二、flume特点flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Ag...
Flume spooldir乱码文件导致监视线程停止解决方案
第一片心意的博客
09-15 3742
修复 flume 1.8 中 spoolDir 乱码导致的监控线程停止问题。
日志收集框架 Flume 组件之Source使用
weixin_34023863的博客
09-26 302
上一篇简单介绍了Flume几个组件，今天介绍下组件其一的source，整理这些，也是二次学习的过程，也是梳理知识的过程。 Source 中文译为来源，源作用：采集数据，然后把数据传输到channel上。例如：监控某个文件或者某个端口或某个目录，新增数据，新增文件的变化，然后传输到channel。 常用的的source类型，也是平常用的比较多的几种类型，如下： source类型 说明 ...
01 docker概述及安装
fang.lovest.yang的博客
05-27 509
Docker概述 Docker安装 docker官网下载 Docker Desktop for Windows 在win10安装。 安装完成以后，docker便已经安装成功，可通过此程序操作镜像、容器等；如果需要运行docker命令，通过本机的命令行来执行。 镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。 一个Docker Registry中可以包含多个...
基于 Docker 部署 Flume 应用
magicpenta的博客
06-17 4534
前言 本文目的在于通过 flume、zookeeper、kafka、docker 搭建基本的日志采集系统，实现日志的采集并将数据发送至 Kafka。 搭建前，需确保已安装以下组件： JDK 8 Flume Zookeeper Kafka Docker 同时需确保已掌握以下技能： 能在本地部署并成功启动 Flume，且了解 Flume 的核心概念 source、channel、sink 能基本使用 Zookeeper，了解节点的创建、更新、查看与删除 能基本使用 Kafka，了解 topic 的概念，实
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值