flume 实时读取数据输案例

最新推荐文章于 2023-04-26 19:02:14 发布
最新推荐文章于 2023-04-26 19:02:14 发布
阅读量447 收藏 1
点赞数 1
文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48379126/article/details/120817258
版权

案例一：监控端口将数据实时发送到屏幕显示

1、使用的组件类型

①netcat source:  作用就是监听某个tcp端口手动的数据，将每行数据封装为一个event。
        工作原理类似于nc -l 端口
        
配置：
    必须属性：
    type    –    The component type name, needs to be netcat
    bind    –    Host name or IP address to bind to
    port    –    Port # to bind to
    
②logger sink: 作用使用logger(日志输出器)将event输出到文件或控制台,使用info级别记录event!
    必须属性：
    type    –    The component type name, needs to be logger
    可选属性：
maxBytesToLog    16    Maximum number of bytes of the Event body to log③memery channel
    必须属性：
    type    –    The component type name, needs to be memory
    可选属性：
    capacity    100    The maximum number of events stored in the channel
    transactionCapacity    100    The maximum number of events the channel will take from a source or give to a sink per transaction

2、编写配置文件

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#组名名.属性名=属性值
#定义source
a1.sources.r1.type=netcat
a1.sources.r1.bind=hadoop102
a1.sources.r1.port=44444

#定义sink
a1.sinks.k1.type=logger
a1.sinks.k1.maxBytesToLog=100

#定义chanel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

3. 执行命令

flume-ng agent --conf conf/ --n a1 --conf-file myagents/netcatsource-loggersink.conf -Dflume.root.logger=INFO,console

--conf ：后面跟flume自带的所有配置文件

--n ：后面跟agent的别名

--conf-file ：后面跟我们自己创建的配置文件

-Dflume.root.logger=INFO,console ：表示需要打印的日志级别

案例二：监控文件将数据实时发送到HDFS上（不安全，不推荐）

1. 使用的组件类型

①EXECSource
        介绍： execsource会在agent启动时，运行一个linux命令，运行linux命令的进程要求是一个可以持续产生数据的进程！
                    将标准输出的数据封装为event!
                通常情况下，如果指定的命令退出了，那么source也会退出并且不会再封装任何的数据！
                所以使用这个source一般推荐类似cat ,tail -f 这种命令，而不是date这种只会返回一个数据，并且执行完就退出的命令！
        配置：
            必须配置：
            type    –    The component type name, needs to be exec
            command    –    The command to execute
            
②HDFSSink
        介绍：  hdfssink将event写入到HDFS！目前只支持生成两种类型的文件： text | sequenceFile,这两种文件都可以使用压缩！
                写入到HDFS的文件可以自动滚动（关闭当前正在写的文件，创建一个新文件）。基于时间、events的数量、数据大小进行周期性的滚动！
                支持基于时间和采集数据的机器进行分桶和分区操作！
                HDFS数据所上传的目录或文件名可以包含一个格式化的转义序列，这个路径或文件名会在上传event时，被自动替换，替换为完整的路径名！
                使用此Sink要求本机已经安装了hadoop，或持有hadoop的jar包！
        配置：    
            必须配置：
            type    –    The component type name, needs to be hdfs
            hdfs.path    –    HDFS directory path (eg hdfs://namenode/flume/webdata/)
            
            可选参考word
            

2、配置：

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#组名名.属性名=属性值
#定义source
a1.sources.r1.type=exec
a1.sources.r1.command=tail -f /opt/module/hive/logs/hive.log

#定义chanel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

#定义sink
a1.sinks.k1.type = hdfs
#一旦路径中含有基于时间的转义序列，要求event的header中必须有timestamp=时间戳，如果没有需要将useLocalTimeStamp = true
a1.sinks.k1.hdfs.path = hdfs://hadoop101:9000/flume/%Y%m%d/%H/%M
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-

#以下三个和目录的滚动相关，目录一旦设置了时间转义序列，基于时间戳滚动
#是否将时间戳向下舍
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = minute

#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100

#以下三个和文件的滚动相关，以下三个参数是或的关系！以下三个参数如果值为0都代表禁用！
#30秒滚动生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
#设置每个文件到128M时滚动
a1.sinks.k1.hdfs.rollSize = 134217700
#每写多少个event滚动一次
a1.sinks.k1.hdfs.rollCount = 0
#以不压缩的文本形式进行存储
a1.sinks.k1.hdfs.fileType=DataStream

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

3. 执行命令

flume-ng agent --conf conf/ --n a1 --conf-file myagents/execsource-hdfssink.conf -Dflume.root.logger=INFO,console

--conf ：后面跟flume自带的所有配置文件

--n ：后面跟agent的别名

--conf-file ：后面跟我们自己创建的配置文件

-Dflume.root.logger=INFO,console ：表示需要打印的日志级别

案例三：监控目录将数据实时发送到HDFS上

1、使用的组件类型

1.SpoolingDirSource
    简介：
        SpoolingDirSource指定本地磁盘的一个目录为"Spooling(自动收集)"的目录！这个source可以读取目录中
        新增的文件，将文件的内容封装为event!
        
        SpoolingDirSource在读取一整个文件到channel之后，它会采取策略，要么删除文件(是否可以删除取决于配置)，要么对文件
        进程一个完成状态的重命名，这样可以保证source持续监控新的文件！
        
        SpoolingDirSource和execsource不同，SpoolingDirSource是可靠的！即使flume被杀死或重启，依然不丢数据！但是为了保证
        这个特性，付出的代价是，一旦flume发现以下情况，flume就会报错，停止！
                ①一个文件已经被放入目录，在采集文件时，不能被修改
                ②文件的名在放入目录后又被重新使用（出现了重名的文件）
                
        要求： 必须已经封闭的文件才能放入到SpoolingDirSource，在同一个SpoolingDirSource中都不能出现重名的文件！
    使用：
        必需配置：
        type    –    The component type name, needs to be spooldir.
        spoolDir    –    The directory from which to read files from.

2、配置：

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#组名名.属性名=属性值
#定义source
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/root/flume

#定义chanel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

#使用本地文件channel（速度慢但比内存安全）
#a1.channels.c1.type=file
#a1.channels.c1.type=/opt/flumeckp/checkpoint
#a1.channels.c1.type=/opt/flumeckp/data

#定义sink
a1.sinks.k1.type = hdfs
#一旦路径中含有基于时间的转义序列，要求event的header中必须有timestamp=时间戳，如果没有需要将useLocalTimeStamp = true
a1.sinks.k1.hdfs.path = hdfs://hadoop101:9000/flume/%Y%m%d/%H/%M
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-

#以下三个和目录的滚动相关，目录一旦设置了时间转义序列，基于时间戳滚动
#是否将时间戳向下舍
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = minute

#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100

#以下三个和文件的滚动相关，以下三个参数是或的关系！以下三个参数如果值为0都代表禁用！
#30秒滚动生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
#设置每个文件到128M时滚动
a1.sinks.k1.hdfs.rollSize = 134217700
#每写多少个event滚动一次
a1.sinks.k1.hdfs.rollCount = 0
#以不压缩的文本形式保存数据
a1.sinks.k1.hdfs.fileType=DataStream 

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

3. 执行命令

flume-ng agent --conf conf/ --n a1 --conf-file myagents/spoolingsource-hdfssink.conf -Dflume.root.logger=INFO,console

--conf ：后面跟flume自带的所有配置文件

--n ：后面跟agent的别名

--conf-file ：后面跟我们自己创建的配置文件

-Dflume.root.logger=INFO,console ：表示需要打印的日志级别

案例四：监控整个目录的实时追加文件，并上传至HDFS 

1、使用的组件类型

flume ng 1.7版本后提供！
              常见问题： TailDirSource采集的文件，不能随意重命名！如果日志在正在写入时，名称为 xxxx.tmp，写入完成后，滚动，
                    改名为xxx.log，此时一旦匹配规则可以匹配上述名称，就会发生数据的重复采集！
    简介：
        Taildir Source 可以读取多个文件最新追加写入的内容！
        Taildir Source是可靠的，即使flume出现了故障或挂掉。Taildir Source在工作时，会将读取文件的最后的位置记录在一个
        json文件中，一旦agent重启，会从之前已经记录的位置，继续执行tail操作！
        
        Json文件中，位置是可以修改，修改后，Taildir Source会从修改的位置进行tail操作！如果JSON文件丢失了，此时会重新从
        每个文件的第一行，重新读取，这会造成数据的重复！
        
        Taildir Source目前只能读文本文件！
        
    必需配置：
        channels    –     
        type    –    The component type name, needs to be TAILDIR.
        filegroups    –    Space-separated list of file groups. Each file group indicates a set of files to be tailed.
        filegroups.<filegroupName>    –    Absolute path of the file group. Regular expression (and not file system patterns) can be used for filename only.

2、配置：

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#组名名.属性名=属性值
#定义source
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=f1 f2
a1.sources.r1.filegroups.f1=/home/atguigu/hi
a1.sources.r1.filegroups.f2=/home/atguigu/test

#定义sink
a1.sinks.k1.type=logger
a1.sinks.k1.maxBytesToLog=100

#定义chanel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

3. 执行命令

flume-ng agent --conf conf/ --n a1 --conf-file myagents/taildirsource-loggersink.conf -Dflume.root.logger=INFO,console

--conf ：后面跟flume自带的所有配置文件

--n ：后面跟agent的别名

--conf-file ：后面跟我们自己创建的配置文件

-Dflume.root.logger=INFO,console ：表示需要打印的日志级别

案例五：kafka channel

 #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.channels = c1 c2

#组名名.属性名=属性值
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=f1
a1.sources.r1.batchSize=1000
#读取/tmp/logs/app-yyyy-mm-dd.log ^代表以xxx开头$代表以什么结尾 .代表匹配任意字符
#+代表匹配任意位置
a1.sources.r1.filegroups.f1=/tmp/logs/^app.+.log$
#JSON文件的保存位置
a1.sources.r1.positionFile=/opt/module/flume/test/log_position.json

#定义拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.zyj.dw.flume.MyInterceptor$Builder

#定义ChannelSelector
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.topic_start = c1
a1.sources.r1.selector.mapping.topic_event = c2

#定义chanel
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic=topic_start
a1.channels.c1.parseAsFlumeEvent=false

a1.channels.c2.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c2.kafka.topic=topic_event
a1.channels.c2.parseAsFlumeEvent=false

#连接组件 同一个source可以对接多个channel
a1.sources.r1.channels=c1 c2

案例六：kafka Sink

a1.channels = c1
a1.sources = s1
a1.sinks = k1

a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /opt/mydata

a1.channels.c1.type = memory
a1.channels.c1.capacity=1000

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = mydemo03
a1.sinks.k1.kafka.bootstrap.servers = 192.168.1.101:9092

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

flume —— interceptor

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#组名名.属性名=属性值
#定义source
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/opt/soft/mydata/users
a1.sources.r1.interceptors=i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex=user.*
a1.sources.r1.interceptors.i1.excludeEvents=true

#定义chanel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

#定义sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=users
a1.sinks.k1.kafka.bootstrap.servers=192.168.1.103:9092

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

项目实例

tail source ---> kafka channel

#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.channels = c1 c2

#组名名.属性名=属性值
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=f1
a1.sources.r1.batchSize=1000
#读取/tmp/logs/app-yyyy-mm-dd.log ^代表以xxx开头$代表以什么结尾 .代表匹配任意字符
#+代表匹配任意位置
a1.sources.r1.filegroups.f1=/tmp/logs/^app.+.log$
#JSON文件的保存位置
a1.sources.r1.positionFile=/opt/module/flume/test/log_position.json

#定义拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.zyj.dw.flume.MyInterceptor$Builder

#定义ChannelSelector
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.topic_start = c1
a1.sources.r1.selector.mapping.topic_event = c2


#定义chanel
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic=topic_start
a1.channels.c1.parseAsFlumeEvent=false

a1.channels.c2.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c2.kafka.topic=topic_event
a1.channels.c2.parseAsFlumeEvent=false

#连接组件 同一个source可以对接多个channel，一个sink只能从一个channel拿数据！
a1.sources.r1.channels=c1 c2

 kafka source ---> hdfs sink

#配置文件编写
a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2

#配置source
a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.topics=topic_start
a1.sources.r1.kafka.consumer.auto.offset.reset=earliest
a1.sources.r1.kafka.consumer.group.id=CG_Start

a1.sources.r2.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r2.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r2.kafka.topics=topic_event
a1.sources.r2.kafka.consumer.auto.offset.reset=earliest
a1.sources.r2.kafka.consumer.group.id=CG_Event
#配置channel
a1.channels.c1.type=file
a1.channels.c1.checkpointDir=/opt/module/flume/c1/checkpoint
#启动备用checkpoint
a1.channels.c1.useDualCheckpoints=true
a1.channels.c1.backupCheckpointDir=/opt/module/flume/c1/backupcheckpoint
#event存储的目录
a1.channels.c1.dataDirs=/opt/module/flume/c1/datas


a1.channels.c2.type=file
a1.channels.c2.checkpointDir=/opt/module/flume/c2/checkpoint
a1.channels.c2.useDualCheckpoints=true
a1.channels.c2.backupCheckpointDir=/opt/module/flume/c2/backupcheckpoint
a1.channels.c2.dataDirs=/opt/module/flume/c2/datas


#sink
a1.sinks.k1.type = hdfs
#一旦路径中含有基于时间的转义序列，要求event的header中必须有timestamp=时间戳，如果没有需要将useLocalTimeStamp = true
a1.sinks.k1.hdfs.path = hdfs://hadoop102:9000/origin_data/gmall/log/topic_start/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix = logstart-

a1.sinks.k1.hdfs.batchSize = 1000

#文件的滚动
#3600秒滚动生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件到128M时滚动
a1.sinks.k1.hdfs.rollSize = 134217700
#禁用基于event数量的文件滚动策略
a1.sinks.k1.hdfs.rollCount = 0
#指定文件使用LZO压缩格式
a1.sinks.k1.hdfs.fileType = CompressedStream 
a1.sinks.k1.hdfs.codeC = lzop
#a1.sinks.k1.hdfs.round = true
#a1.sinks.k1.hdfs.roundValue = 10
#a1.sinks.k1.hdfs.roundUnit = second



a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path = hdfs://hadoop102:9000/origin_data/gmall/log/topic_event/%Y-%m-%d
a1.sinks.k2.hdfs.filePrefix = logevent-
a1.sinks.k2.hdfs.batchSize = 1000
a1.sinks.k2.hdfs.rollInterval = 60
a1.sinks.k2.hdfs.rollSize = 134217700
a1.sinks.k2.hdfs.rollCount = 0
a1.sinks.k2.hdfs.fileType = CompressedStream 
a1.sinks.k2.hdfs.codeC = lzop
#a1.sinks.k2.hdfs.round = true
#a1.sinks.k2.hdfs.roundValue = 10
#a1.sinks.k2.hdfs.roundUnit = second

#连接组件
a1.sources.r1.channels=c1
a1.sources.r2.channels=c2
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
笑面天下
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka+flume 实时采集oracle数据到hive中.docx
08-11
讲述如何采用最简单的kafka+flume的方式，实时的去读取oracle中的重做日志+归档日志的信息，从而达到日志文件数据实时写入到hdfs中，然后将hdfs中的数据结构化到hive中。
flume接收kafka数据，设置偏移量
song_quan_的博客
12-20 1019
kafka官方文档中对于它的偏移解释： auto.offset.reset 解释： What to do when there is no initial offset in Kafka or if the current offset does not exist any more on the server (e.g. because that data has been deleted): earliest: automatically reset the offset to the earlie.
浅析数据采集工具Flume
luoyepiaoxue2014的博客
11-27 1104
Flume 是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据，同时，Flume 提供对数据的简单处理，并写到各种数据接收方的能力。
hadoop Flume 操作实例（监控端口数据、实时读取本地文件到 HDFS、实时读取目录文件到 HDFS）
科大人的博客
03-11 1784
环境配置： Linux Ubuntu16.04系统 hadoop 2.7.2 java jdk1.8.0_181 Flume 1.7.0 flume环境配置教程：hadoop Flume 安装环境 案例一：监控端口数据 目标：Flume监控一端Console，另一端Console发送消息，使被监控端实时显示。 分步实现： 1）安装telnet工具（Ubuntu自带的有，centos需要安装）
flume采集端口数据
weixin_57967436的博客
05-04 1378
关于端口：需要下载telnet与xinetd可以看这个文章 (28条消息) CentOS7.6 开启 Telnet 服务_Showay518的博客-CSDN博客 先通过yum list |grep telnet | xinetd | telnet-server 查看版本，通过yum install 安装服务 启动这些服务 systemctl start telnet.socket systemctl start xinetd.service 通过status查看服务状态 测试telnet连接（t
大数据之使用Flume监听本地文件采集数据流到HDFS，使用正则表达式获取
Eternity.Arrebol的博客
04-26 1320
Flume 是一个广为开发者使用的分布式日志采集工具，在大数据领域中被广泛应用。在实际应用中，我们通常需要使用 Flume 采集本地文件并将它们传输到 HDFS 上进行处理和分析。将本地文件采集到 HDFS 上可以更方便地处理和分析大量数据。HDFS 作为 Hadoop 分布式文件系统之一，具有高容错性和高可扩展性，可以存储大量的数据。Flume 的优点在于它可以快速、可靠地实现数据采集等功能，同时支持各种输入源和输出目的地，包括文件、Kafka、HDFS 等，可以帮助高效地处理大数据。
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
fenghaotong#spark#2接收flume实时数据流1
07-25
看你的实时数据流的产出频率如果你的实时数据流产出特别频繁，比如说一秒钟10w条，那就必须是kafka，分布式的消息缓存中间件，可以承受超高并发如果你的实时数据流
flume抓取oracle数据所需jar包
07-14
flume抓取oracle数据所需jar包
实时大数据采集框架Flume详解（视频+课件+代码+工具）
02-15
01_Flume的介绍及其架构组成 02_Flume的安装部署 03_Flume的测试运行 04_Flume中配置使用file channel及HDFS sink 05_Flume中配置HDFS文件生成大小及时间分区 06_Flume中配置Spooling Dir的使用 07_Flume中...
Flume：搭建配置以及 source读取在netcat、http，sink 落实在本地、HDFS
博樽
11-29 2287
Flume 理论、简介、特点、结构；创建并解压配置文件Flume、 配置 flume-env.sh文件、Flume环境变量；配置conf、分发文件；Flume的conf 多种部署。显示结果是过滤数据、通过netcat作为source, sink写到hdfs、通过HTTP作为source, sink写到logger、多节点进行串联。
flume之taildirSource重复获取数据和不释放资源解决办法
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-25 1323
本文针对flume的TailDirSource重复获取数据和不释放资源的问题进行解决。 一、问题思考 （1）log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。 （2）当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000ms。 二、处理方式
新闻网大数据实时分析可视化系统项目——9、Flume+HBase+Kafka集成与开发
weixin_30364325的博客
05-10 331
1.下载Flume源码并导入Idea开发工具 1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2）通过idea导入flume源码 打开idea开发工具，选择File——》Open 然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok加载相应模块的源码。 2.官方flume与hbase集成的参数介绍 3.下载...
flume 实时监控读写操作例程
balalaxstar的博客
05-25 288
Flume最主要的作用就是，实时监控读取服务器本地磁盘的数据，将数据写入到HDFS、kafka。 输入vi flume-env.sh进入修改 配置java路径 export JAVA_HOME=/root/software/jdk1.8.0_221 配置flume的运行内存(建议10G) export JAVA_OPTS="-Xms10240m -Xmx10240m -Dcom.sun.management.jmxremote" 配小了在运行大量运算时容易报channel不足错误 在conf文件夹下.
Flume的学习和使用
热门推荐
哈工大许政的博客
06-18 2万+
Flume的学习和使用 本文是基于CentOS 7.3系统环境，进行Flume的学习和使用 CentOS 7.3 一、Flume的简介 1.1 Flume基本概念 (1) 什么是Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 (2) Flume的目的 Flume最主要的作业就是，实时读取服务器本地磁盘的数据，将数据写入HDFS 1.2 Flume基本组件 (0) Flume工作流程 Source采集数据并包装成Event，并将Event
大数据之flume开发实例
a18379692263的博客
04-02 1993
一、复制和多路复用 案例需求：使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 流程图如下： 具体实现： ...
Flume学习笔记 --- Flume数据抽取
杨鑫newlife的专栏
07-23 1081
1.Flume支持许多从外部源获取数据的机制。 2.RPC模式 Flume发行版本包含的Avro客户端可以使用Avro RPC 机制将给定文件发送到Flume Avro源。 $ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10 上面的命令会将/usr/logs/log.10的内容发送到监听该端口的Flume...
Flume案例实操
乔治大哥的博客
11-10 559
案例实操 3.1Flume实时读取目录中文件到HDFS案例 1）案例需求：使用flume监听整个目录的文件 2）需求分析： 3）实现步骤： 1．创建配置文件flume-dir-hdfs.conf 创建一个文件 [root@linux02 job]$ touch flume-dir-hdfs.conf 打开文件 [root@linux02 job]$ vim flume-d...
大数据技术之Flume
weixin_30918415的博客
04-02 152
第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示： 图1-1 Flume组成架构 图1-2 Flume组成架构详解 下面我们来详细介绍一下Flume架...
flume能实时采集数据
最新发布
09-07
是的，Flume是一个开源的分布式系统，用于高效地收集、聚合和移动大量...例如，你可以使用Flume来从网络流、日志文件、消息队列等来源实时地采集数据，并将其发送到Hadoop、Kafka、HBase等目标系统中进行存储和处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值