flume的使用

于 2022-04-26 17:41:34 发布
阅读量648 收藏
点赞数
文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shixuefeng2410/article/details/124433244
版权

################# 
#  netcat 配置  #
#################

#解压、重命名
 cd /opt/download
 tar -zxvf netcat-0.7.1.tar.gz -C /opt/software
  
#可能报错需要将gcc升至5.3以上
 yum -y install centos-release-scl
 yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
 scl enable devtoolset-9 bash   #临时设置
 echo "source /opt/rh/devtoolset-9/enable" >> /etc/profile   #永久设置
 gcc -v
 #--------------------------------------------------
  gcc version 9.3.1 20200408 (Red Hat 9.3.1-2) (GCC)
 #-------------------------------------------------- 

 cd /opt/software/netcat-0.7.1/
 ./configure --prefix=/usr/local/netcat
 make && make install
 cd /usr/local/netcat
 ls
 #------------------
  bin info man share
 #------------------ 

#配置环境变量 
 vim /etc/profile.d/my.sh
 #---------------------------------------------------------
  #netcat071
  export NETCAT_HOME=/usr/local/netcat
  export PATH=$PATH:$NETCAT_HOME/bin
 #-----------------------------------------------------------
 source /etc/profile 
 
nc localhost 9999 


################
#  flume 安装  #
################

#解压、重命名
 cd /opt/download
 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/software
 mv apache-flume-1.9.0 flume190 

#配置环境变量
 vim /etc/profile.d/my.sh
 #----------------------------------------
  #flume190
  export FLUME_HOME=/opt/software/flume190
  export PATH=$PATH:$FLUME_HOME/bin
 #----------------------------------------
 source /etc/profile
 
#修改jdk的路径
 cd /opt/software/flume190/conf/
 mv flume-env.sh.template flume-env.sh
 vim flume-env.sh
 #-----------------------------------
  #修改
  export JAVA_HOME=/opt/software/jdk8
 #----------------------------------- 


# flume-ng 运行异常时解决方法如下 

 #1.hdfs-sink时出错
  #更新guava包和hadoop一致
   cd /opt/software/flume-1.9.0
   ls lib|grep guava
   #-------------------
    guava-11.0.2.jar
   #-------------------
   rm -f lib/guava-11.0.0.jar
   find /opt/software/hadoop313/share/hadoop/hdfs/lib -name guava*
   #------------------------------------------------------------------
    /opt/software/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar
   #------------------------------------------------------------------
   cp /opt/software/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar lib/
 
  #拷贝hadoop架包到flume里
cp /opt/software/hadoop313/share/hadoop/client/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/common/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/hdfs/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/mapreduce/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/tools/*/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/yarn/*.jar /opt/software/flume-1.9.0/lib/
cp /opt/software/hadoop313/share/hadoop/common/*/*.jar /opt/software/flume-1.9.0/lib/
 
 #2.报错:(java.lang.OutOfMemoryError: GC overhead limit exceeded)
   vim /opt/software/flume190/bin/flume-ng
   #----------------------
    #修改
    JAVA_OPTS="-Xmx2048m"
   #----------------------


#官网
   https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
   
# flume可以设置文件：
  #rollSize
   默认值：1024，当临时文件达到该大小(单位:bytes)时，滚动成目标文件。
   如果设置成0，则表示不根据临时文件大小来滚动文件。 
  #rollCount
   默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，
   如果设置成0，则表示不根据events数据来滚动文件。
  #round
   默认值：false，是否启用时间上的"舍弃"，类似于四舍五入，
   如果启用，则会影响除了%t的其他所有时间表达式。
  #roundValue
   默认值：1，时间上进行"舍弃"的值。
  #roundUnit
   默认值：seconds，时间上进行"舍弃"的单位，包含：second，minute，hour
  当设置了round、roundValue、roundUnit参数时，需要在sink指定的HDFS路径上指定按照时间生成的目录的格式，
  如有需求，每采集1小时就在HDFS目录上生成一个目录，里面存放这1小时内采集到的数据。 
=========================================================================================================================  
  
# 1、模拟  netcat写入数据,flume接收
 cd ~
 mkdir flume
 vim flume_avro_memory_log.log 
{
#common
a.sources = s1
a.channels = c1
a.sinks = k1
 
#source 
a.sources.s1.type = netcat
a.sources.s1.bind = localhost
a.sources.s1.port = 9999
 
#channel
a.channels.c1.type = memory
a.channels.c1.capacity = 1024
a.channels.c1.transactionCapacity = 128
 
#sink
a.sinks.k1.type = logger
 
#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent --name a --conf /opt/software/flume190/conf/ --conf-file ~/flume/flume_avro_memory_log.log -Dflume.root.logger=INFO,console
       #或者
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_avro_memory_log.log -Dflume.root.logger=INFO,console


# 2、模拟 文件
 cd flume/
 mkdir spooldir  #spooldir文件夹下拖入文件
 cd flume/
 vim flume_spooldir_memory_log.log
{
#common
a.sources = s1
a.channels = c1
a.sinks = k1

#source
a.sources.s1.type = spooldir
a.sources.s1.spoolDir = /root/flume/spooldir
a.sources.s1.fileHeader = true

#channel
a.channels.c1.type = memory
a.channels.c1.capacity = 1024
a.channels.c1.transactionCapacity = 128

#sink
a.sinks.k1.type = logger

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_spooldir_memory_log.log -Dflume.root.logger=INFO,console


# 3、模拟 文件写入hdfs
 cd flume/
 mkdir spooldir  #spooldir文件夹下拖入文件
 cd flume/
 vim flume_spooldir_memory_hdfs.log
{
#common
a.sources = s1
a.channels = c1
a.sinks = k1

#source
a.sources.s1.type = spooldir
a.sources.s1.spoolDir = /root/flume/spooldir
a.sources.s1.fileHeader = true

#channel
a.channels.c1.type = memory
a.channels.c1.capacity = 201326592
a.channels.c1.transactionCapacity = 134217728

#sink
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = hdfs://single1:9000/flume/dir_202228_01
a.sinks.k1.hdfs.filePrefix = tags-events-
a.sinks.k1.hdfs.round = true
a.sinks.k1.hdfs.roundValue = 10
a.sinks.k1.hdfs.roundUnit = second 

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_spooldir_memory_hdfs.log -Dflume.root.logger=INFO,console

# 4、模拟 写入hdfs
 cd flume/
 mkdir spooldir  #spooldir文件夹下拖入文件
 cd flume/
 vim flume_taildir_memory_hdfs.log

{
#common
a.sources=s1
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=TAILDIR
a.sources.s1.positionFile=/root/flume/position_file/pf_01.json
a.sources.s1.filegroups=f1
a.sources.s1.filegroups.f1=/root/flume/spooldir/.*.csv
a.sources.s1.fileHeader=true
a.sources.s1.maxBatchCount=1000


#channel
a.channels.c1.type=memory
a.channels.c1.capacity=16777216
a.channels.c1.transactionCapacity=8388608

#sink
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = hdfs://single1:9000/flume/dir_202228_02
a.sinks.k1.hdfs.filePrefix = tags-events-
a.sinks.k1.hdfs.round = true
a.sinks.k1.hdfs.roundValue = 10
a.sinks.k1.hdfs.roundUnit = second 
a.sinks.k1.hdfs.rollInterval = 0
a.sinks.k1.hdfs.rollCount = 0
a.sinks.k1.hdfs.rollSize = 33554432

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}

flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_taildir_memory_hdfs.log -Dflume.root.logger=INFO,console

# 5、模拟多级联动
#single1执行
vim flume_link_netcat_memory_avro.log
{  
#common
a.sources=s1
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=netcat
a.sources.s1.bind=single1
a.sources.s1.port=9999

#channel
a.channels.c1.type=memory
a.channels.c1.capacity=256
a.channels.c1.transactionCapacity=128

#sink
a.sinks.k1.type=avro
a.sinks.k1.hostname=single01
a.sinks.k1.port=44444

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_link_netcat_memory_avro.log -Dflume.root.logger=INFO,console

#single01执行
vim flume_link_avro_memory_log.log
{  
#common
a.sources=s1
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=avro
a.sources.s1.bind=single01
a.sources.s1.port=44444

#channel
a.channels.c1.type=memory
a.channels.c1.capacity=256
a.channels.c1.transactionCapacity=128

#sink
a.sinks.k1.type=logger

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_link_avro_memory_log.log -Dflume.root.logger=INFO,console

# 6、模拟扇入(single1作为接收,single1和single01同时作为数据发送源)

#服务端-接收single1
vim flume_fanin1_avro_memory_log.log  #single1执行 入口先启动
{
#common
a.sources=s1 s2
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=avro
a.sources.s1.bind=single1
a.sources.s1.port=44444


#channel
a.channels.c1.type=memory
a.channels.c1.capacity=256
a.channels.c1.transactionCapacity=128

#sink
a.sinks.k1.type=logger

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_fanin1_avro_memory_log.log -Dflume.root.logger=INFO,console

#链接发送-客户端single1
vim flume_fanin1_netcat_memory_avro.log
{  
#common
a.sources=s1
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=netcat
a.sources.s1.bind=single1
a.sources.s1.port=9999

#channel
a.channels.c1.type=memory
a.channels.c1.capacity=256
a.channels.c1.transactionCapacity=128

#sink
a.sinks.k1.type=avro
a.sinks.k1.hostname=single1
a.sinks.k1.port=44444

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_fanin1_netcat_memory_avro.log -Dflume.root.logger=INFO,console

#链接发送-客户端single01
vim flume_fanin01_netcat_memory_avro.log
{  
#common
a.sources=s1
a.channels=c1
a.sinks=k1

#source
a.sources.s1.type=netcat
a.sources.s1.bind=single01
a.sources.s1.port=9999

#channel
a.channels.c1.type=memory
a.channels.c1.capacity=256
a.channels.c1.transactionCapacity=128

#sink
a.sinks.k1.type=avro
a.sinks.k1.hostname=single1
a.sinks.k1.port=44444

#join
a.sources.s1.channels = c1
a.sinks.k1.channel = c1
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_fanin01_netcat_memory_avro.log -Dflume.root.logger=INFO,console

# 7、模拟扇出
  #创建kafka主题
  kafka-topics.sh --bootstrap-server single1:9092 --create --topic flume_kafka_channel_fanout_20220209_01 --partitions 1 --replication-factor 1
  #创建kafka消费者
  kafka-console-consumer.sh --bootstrap-server single1:9092 --topic flume_kafka_channel_fanout_20220209_01 --from-beginning
  #创建hbase表
  create "kb16nb:flume_hbase_sink_20220209","tags"
  
vim flume_fanout_taildir_file_log_hbase_kafka.log
{
#common
a.sources=s1
a.channels=c1 c2 c3 
a.sinks=k1 k2 k3

#source
a.sources.s1.type=TAILDIR
a.sources.s1.positionFile=/root/flume/position_file/pf_01.json
a.sources.s1.filegroups=f1
a.sources.s1.filegroups.f1=/root/flume/spooldir/.*.csv
a.sources.s1.fileHeader=true
a.sources.s1.maxBatchCount=1000

#channel
a.channels.c1.type=memory
a.channels.c1.capacity=8192
a.channels.c1.transactionCapacity=4096

a.channels.c2.type=org.apache.flume.channel.kafka.KafkaChannel
a.channels.c2.kafka.bootstrap.servers=single1:9092
a.channels.c2.kafka.topic=flume_kafka_channel_fanout_20220209_01
a.channels.c2.kafka.consumer.group.id=flume_kafka_channel_fanout_20220209_01

a.channels.c3.type=file
a.channels.c3.checkpointDir=/root/flume/checkpoint
a.channels.c3.dataDirs=/root/flume/datadir
a.channels.c3.capacity=8192
a.channels.c3.transactionCapacity=4096
a.channels.c3.checkpointInterval=10000

#sink
a.sinks.k1.type=logger

a.sinks.k2.type=hbase
a.sinks.k2.table=kb16nb:flume_hbase_sink_20220209
a.sinks.k2.columnFamily=tags
a.sinks.k2.zookeeperQuorum=single1:2181
a.sinks.k2.batchSize=50
a.sinks.k2.serializer.regex=.*?@(.*?),(.*?),(.*?),(.*?)
a.sinks.k2.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
a.sinks.k2.serializer.colNames=userId,movieId,tag,timestamp

a.sinks.k3.type=org.apache.flume.sink.kafka.KafkaSink
a.sinks.k3.kafka.bootstrap.servers=single1:9092
a.sinks.k3.kafka.topic=flume_kafka_sink_fanout_20220209_01
a.sinks.k3.flumeBatchSize=50

#join
a.sources.s1.channels=c1 c2 c3
a.sinks.k1.channel=c1
a.sinks.k2.channel=c2
a.sinks.k3.channel=c3
}
flume-ng agent -n a -c /opt/software/flume190/conf/ -f ~/flume/flume_fanout_taildir_file_log_hbase_kafka.log -Dflume.root.logger=INFO,console

SXF2410
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume架构以及应用介绍
什么最重要？算法！！
05-31 9万+
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志
Flume 入门教程（超详细）
热门推荐
西门催学不吹雪
03-10 1万+
文章目录1. Flume 概述1.1 Flume 定义 1. Flume 概述 1.1 Flume 定义   
flume使用
zzds111的博客
12-09 1753
1.flume介绍 flume是一个实时的、分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，Event携带日志数据(字节数组形式)并且携带有头信息，Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责将这些信息传输到目标位置 2.f
Flume使用入门 & 入门Demo
呼呼的小窝
06-10 2039
Flume系列文章： Flume 概述 & 架构 & 组件介绍 在本篇文章中，将介绍Flume的使用 使用Flume & 入门案例 查看使用帮助 $>cd $FLUME_HOME/bin 查看使用的帮助，会打印相关的命令指示，从而来帮助我们知道如何进行使用： $>./flume-ng 列举出来的都是常用的，不常用的没有写在下面： Usa...
全面系统完整的Flume教程
04-21
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。购买后资料问题请加老师QQ  2020363447
Flume使用详解（三）
01-07
在Flume使用中配置相当重要，但也非常简单。 在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定） 相关配置： #配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 (可以配置...
Flume使用详解（一）
01-07
概述： Flume最早是Cloudera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，...当前Flume有两个版本Flume 0.9X版本的统称Flume-og，老版本的flume需要引入zookeeper集群管理，性能 也较低（单线程工
Flume使用详解（四）
01-20
flume的Interceptors 概述： Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。 拦截器需要实现org.apache.flume.interceptor.Interceptor接口。 拦截器可以修改或删除事件基于开发者...
Flume使用详解（二）
01-07
flume可以支持多级flume的agent，即flume可以前后相继形成多级的复杂流动，例如sink可以将数据写到下一个agent的source中，这样的话就可以连成串了，可以整体处理了。 置多个agent的数据流（多级流动） 数据流合并...
Flume部署和使用
01-07
Flume部署和使用 官方文档: http://flume.apache.org/ example: WebServer –> Agent[Source–>Channel–>Sink] –> HDFS 一.简介 Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动...
Flume详细介绍使用
09-06
介绍了关于flume的基本应用架构和内部工作机制以及使用业务场景！
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到哪里:(hdfs,logger,avro,kafka) Flume环境配置 配置jdk cd $FLUME_HOME/conf cp flume-env.sh.template flume-env.sh vi flume-env.sh export JAVA_HOME=/usr/java/jdk 方法使用 net
flume学习之二 flume安装和使用方法
技术人宝哥
04-17 4957
1、 先来个简单的：单节点 Flume 配置 telnet:example.conf ./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf --name a1 -Dflume.root.logger=INFO,console PS：-Dflume.root.logger=INFO,console 仅为 debug 使
flume使用方法
suojie的博客
01-16 495
1.一个简单的例子 1.写配置文件01localDir_local.flu #flume中一个基本单元式agent，可以有多个channel,多个sink #给代理起名称， 不需要声明直接使用 #分布给a1代理下的source channel sink起一个名称 #a1代理下sources有一个名为s1 #如果有多个：a1.channels=c1 c2 c3 sources = s1 a1....
Flume的安装使用教程，详细带图
weixin_44912627的博客
07-19 2418
一、Flume的概念： Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集，聚合和传输的系统。Flumens基于流式架构，灵活简单。 Flume最主要的作用就是实时的读取服务器本地磁盘的数据，然后上传到HDFS（虽然也可以直接从服务器本地上传，但是不是实时的）。 二、Flume组成架构： 1.Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。启动agent之后，进程名称：Application Agent主要有3个部分组
使用 Flume 收集数据
oxuzhenyi的博客
05-15 1万+
使用 Flume 收集数据 一、实验介绍 1.1 实验内容 Flume 是分布式的日志收集系统，可以处理各种类型各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义等，本节课主要讲解 Flume 的应用案例。 1.2 课程来源
Flume1.9安装及使用
落幕7的博客
10-22 858
Flume的安装及使用 文章目录Flume的安装及使用Flume的安装1、上传压缩包至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用 Flume的安装 1、上传压缩包至虚拟机，并解压 点击Flume-1.9.0压缩包下载地址进行下载 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft ali
Flume安装和使用说明
KamRoseLee的博客
07-29 343
    1.flume简介          Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。   2.安装和使用说明:    2.1 安装 下载: http://a...
Hadoop ETL任务：Flume使用与优化
"flume使用与优化.pdf" Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计用于处理和传输海量的日志数据，通常作为大数据生态系统中的数据采集工具，如Hadoop。Flume 的主要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值