flumeng收集日志并存储到HDFS

最新推荐文章于 2023-09-07 14:49:45 发布
最新推荐文章于 2023-09-07 14:49:45 发布
阅读量4.1k 收藏 1
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lskyne/article/details/37567489
版权

两台机器agent1收集日志，传送到agent3，agent3上传日志到HDFS

agent1配置：

agent1.sources=s1
agent1.channels=c1
agent1.sinks=k1


agent1.sources.s1.type = spooldir
agent1.sources.s1.spoolDir = /var/log/hutxlog
agent1.sources.s1.fileHeader =false
agent1.sources.s1.channels = c1


agent1.sinks.k1.channel=c1
agent1.sinks.k1.type=avro
agent1.sinks.k1.hostname=10.1.72.97
agent1.sinks.k1.port=12343
agent1.channels.c1.type=memory


agent1.sinks.sink-1.type = hdfs
agent1.sinks.sink-1.hdfs.kerberosPrincipal=$KERBEROS_PRINCIPAL
agent1.sinks.sink-1.hdfs.kerberosKeytab =$KERBEROS_KEYTAB
agent1.sinks.sink-1.hdfs.proxyUser = weblogs

agent3配置 

agent3.channels.ch1.type = memory
agent3.sources.avro-source1.channels = ch1
agent3.sources.avro-source1.type = avro
agent3.sources.avro-source1.bind = 0.0.0.0
agent3.sources.avro-source1.port = 12343

agent3.sinks.log-sink1.type=hdfs
agent3.sinks.log-sink1.channel=ch1
agent3.sinks.log-sink1.hdfs.path=hdfs://10.1.72.94:8020/hutx
agent3.sinks.log-sink1.hdfs.fileType=DataStream
agent3.sinks.log-sink1.hdfs.writeFormat=TEXT
agent3.sinks.log-sink1.hdfs.rollInterval=4

agent3.channels = ch1
agent3.sources = avro-source1
agent3.sinks = log-sink1

agent3.sinks.log-sink1.type = hdfs
agent3.sinks.log-sink1.hdfs.kerberosPrincipal=$KERBEROS_PRINCIPAL
agent3.sinks.log-sink1.hdfs.kerberosKeytab =$KERBEROS_KEYTAB

结果 

下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.capacity == 100
下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.current.size == 95
下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.event.put.attempt == 95
下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.event.put.success == 95
下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.event.take.attempt == 47
下午3点05:51.301	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Shutdown Metric for type: CHANNEL, name: ch1. channel.event.take.success == 0
下午3点05:51.301	INFO	org.mortbay.log	
Stopped SelectChannelConnector@0.0.0.0:41414
下午3点06:03.092	INFO	org.apache.flume.node.PollingPropertiesFileConfigurationProvider	
Configuration provider starting
下午3点06:03.122	INFO	org.apache.flume.node.PollingPropertiesFileConfigurationProvider	
Reloading configuration file:/var/run/cloudera-scm-agent/process/1444-flume-AGENT/flume.conf
下午3点06:03.127	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.128	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.128	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Added sinks: log-sink1 Agent: agent3
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.129	INFO	org.apache.flume.conf.FlumeConfiguration	
Processing:log-sink1
下午3点06:03.155	INFO	org.apache.flume.conf.FlumeConfiguration	
Post-validation flume configuration contains configuration for agents: [agent3]
下午3点06:03.156	INFO	org.apache.flume.node.AbstractConfigurationProvider	
Creating channels
下午3点06:03.166	INFO	org.apache.flume.channel.DefaultChannelFactory	
Creating instance of channel ch1 type memory
下午3点06:03.172	INFO	org.apache.flume.node.AbstractConfigurationProvider	
Created channel ch1
下午3点06:03.173	INFO	org.apache.flume.source.DefaultSourceFactory	
Creating instance of source avro-source1, type avro
下午3点06:03.196	INFO	org.apache.flume.sink.DefaultSinkFactory	
Creating instance of sink: log-sink1, type: hdfs
下午3点06:03.786	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
Hadoop Security enabled: true
下午3点06:03.816	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
{ Sink type:HDFSEventSink, name:log-sink1 }: Attempting kerberos login as principal (flume/gcstat3@CDH) from keytab file (/var/run/cloudera-scm-agent/process/1444-flume-AGENT/flume.keytab)
下午3点06:04.107	INFO	org.apache.hadoop.security.UserGroupInformation	
Login successful for user flume/gcstat3@CDH using keytab file /var/run/cloudera-scm-agent/process/1444-flume-AGENT/flume.keytab
下午3点06:04.107	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
Auth method: KERBEROS
下午3点06:04.107	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
User name: flume/gcstat3@CDH
下午3点06:04.107	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
Using keytab: true
下午3点06:04.108	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
Logged in as user flume/gcstat3@CDH
下午3点06:04.112	INFO	org.apache.flume.node.AbstractConfigurationProvider	
Channel ch1 connected to [avro-source1, log-sink1]
下午3点06:04.121	INFO	org.apache.flume.node.Application	
Starting new configuration:{ sourceRunners:{avro-source1=EventDrivenSourceRunner: { source:Avro source avro-source1: { bindAddress: 0.0.0.0, port: 12343 } }} sinkRunners:{log-sink1=SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@2f93e4a8 counterGroup:{ name:null counters:{} } }} channels:{ch1=org.apache.flume.channel.MemoryChannel{name: ch1}} }
下午3点06:04.125	INFO	org.apache.flume.node.Application	
Starting Channel ch1
下午3点06:04.180	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Monitored counter group for type: CHANNEL, name: ch1: Successfully registered new MBean.
下午3点06:04.180	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Component type: CHANNEL, name: ch1 started
下午3点06:04.181	INFO	org.apache.flume.node.Application	
Starting Sink log-sink1
下午3点06:04.182	INFO	org.apache.flume.node.Application	
Starting Source avro-source1
下午3点06:04.182	INFO	org.apache.flume.source.AvroSource	
Starting Avro source avro-source1: { bindAddress: 0.0.0.0, port: 12343 }...
下午3点06:04.183	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Monitored counter group for type: SINK, name: log-sink1: Successfully registered new MBean.
下午3点06:04.183	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Component type: SINK, name: log-sink1 started
下午3点06:04.238	INFO	org.mortbay.log	
Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
下午3点06:04.305	INFO	org.mortbay.log	
jetty-6.1.26
下午3点06:04.336	INFO	org.mortbay.log	
Started SelectChannelConnector@0.0.0.0:41414
下午3点06:04.579	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Monitored counter group for type: SOURCE, name: avro-source1: Successfully registered new MBean.
下午3点06:04.579	INFO	org.apache.flume.instrumentation.MonitoredCounterGroup	
Component type: SOURCE, name: avro-source1 started
下午3点06:04.580	INFO	org.apache.flume.source.AvroSource	
Avro source avro-source1 started.
下午3点06:33.731	INFO	org.apache.avro.ipc.NettyServer	
[id: 0x03072115, /10.1.72.94:59951 => /10.1.72.97:12343] OPEN
下午3点06:33.734	INFO	org.apache.avro.ipc.NettyServer	
[id: 0x03072115, /10.1.72.94:59951 => /10.1.72.97:12343] BOUND: /10.1.72.97:12343
下午3点06:33.734	INFO	org.apache.avro.ipc.NettyServer	
[id: 0x03072115, /10.1.72.94:59951 => /10.1.72.97:12343] CONNECTED: /10.1.72.94:59951
下午3点06:34.197	INFO	org.apache.flume.sink.hdfs.HDFSDataStream	
Serializer = TEXT, UseRawLocalFileSystem = false
下午3点06:34.311	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194198.tmp
下午3点06:35.644	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194198.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194198
下午3点06:35.709	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194199.tmp
下午3点06:35.826	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194199.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194199
下午3点06:35.879	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194200.tmp
下午3点06:35.993	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194200.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194200
下午3点06:36.040	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194201.tmp
下午3点06:36.151	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194201.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194201
下午3点06:36.201	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194202.tmp
下午3点06:36.301	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194202.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194202
下午3点06:36.344	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194203.tmp
下午3点06:36.460	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194203.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194203
下午3点06:36.505	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Creating hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194204.tmp
下午3点06:40.568	INFO	org.apache.flume.sink.hdfs.BucketWriter	
Renaming hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194204.tmp to hdfs://10.1.72.94:8020/hutx/FlumeData.1404803194204
下午3点06:40.574	INFO	org.apache.flume.sink.hdfs.HDFSEventSink	
Writer callback called.



lskyne
关注
专栏目录
Flume05：【案例】采集网站日志上传至HDFS
weixin_40612128的博客
03-04 1502
前面我们讲了两个案例的使用，接下来看一个稍微复杂一点的案例： 需求是这样的， 1、将A和B两台机器实时产生的日志数据汇总到机器C中 2、通过机器C将数据统一上传至HDFS的指定目录中 注意：HDFS中的目录是按天生成的，每天一个目录 看下面这个图，来详细分析一下 根据刚才的需求分析可知，我们一共需要三台机器 这里使用bigdata02和bigdata03采集当前机器上产生的实时日志数据，统一汇总到bigdata04机器上。 其中bigdata02和bigdata03中的source使用基于file的so
用Flume采集多台机器上的多种日志并存储于HDFS
11-06
用Flume采集多台机器上的多种日志并存储于HDFS, 在集群上使用flume收集多台机器的日志集中到hdfs上，作后面的日志分析
flume--收集日志到hdfs
suojie的博客
01-21 323
例子： a1.sources = s1 a1.channels=c1 a1.sinks=k1 #tcp协议 a1.sources.s1.type = syslogtcp a1.sources.s1.port= 5140 a1.sources.s1.host= wangfutai a1.sources.s1.channels = c1 a1.channels = c1 a1.channels....
Flume采集日志信息到HDFS中
qq_31987649的博客
02-16 4707
1.Hadoop集群搭建的配置 1.1搭建步骤如下链接: https://blog.csdn.net/qq_31987649/article/details/85037833 1.2 启动hadoop    只需要启动Master 主节点上的hadoop    hadoop安装路径: / hadoop-2.6.5 /sbin       ./start-all.sh  启动     ...
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
皓亮君的博客
09-21 7805
使用Flume采集日志数据到HDFS中
数仓采集项目【05使用flume将日志文件收集到HDFS】
weixin_43923463的博客
06-11 1248
logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】​ taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】
flume读取log日志文件存储到HDFS
chy2z的专栏
07-25 4028
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf  将 flume-conf.properties.template 重新命名为  hdfs.properties # 组装 agent a1.sources = s1 a1.channels = c1 a1.sinks = k1 # 配置source：...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
本文将详细介绍如何利用Flume采集日志数据，并将其发送到Kafka中，最后将这些数据从Kafka取出并存储到HDFS上。这一流程不仅适用于大规模的日志数据采集场景，还能帮助读者快速熟悉Flume、Kafka和HDFS等大数据组件的...
Flume监听文件并上传到HDFS
这是饭多多的博客
05-11 321
监听任意一个文件，并将监控结果上传到hdfs的/flume目录下。
flime安装+配置+测试+案例（采集日志至HDFS）
04-15
在本文中，我们将深入探讨 Flume 的安装、配置、测试以及如何将其应用于实际案例，即从不同节点采集日志并存储到 HDFS。 首先，我们从安装 Flume 开始。Flume 的安装包括解压安装包，重命名 Flume 目录，配置 `...
1.项目记录Flume采集用户行为日志到HDFS
qq_44342234的博客
08-30 532
1.项目记录Flume采集用户行为日志到HDFSFlume采集日志到HDFS需求解决方案具体步骤 Flume采集日志到HDFS 将产生的数据不断的导入到HDFS上,供方便后续使用,日志通过前端,后端埋点通过HTTP同步到了不同的日志服务器上,所以使用Flume将日志文件以及Kafka中的用户行为数据通过Flume导入到HDFS上 需求 将日志服务器中的用户行为日志上传到HDFS上 解决方案 在所有的日志服务器上安装Flume,每个Flume监控一个或者多个日志文件夹,将用户行为日志同步到各种数据源中,可以实
简单配置flume读取日志文件写到HDFS
Nick
05-22 1518
集群配置 三个节点：server1, server2, server3 场景 server1 和 server2 有生成日志，flume 从 server1 和 server2 采集日志，flume 在 server3 收集日志并写入到 HDFS 安装 flume 首先在 flume 官网下载安装包 https://flume.apache.org/download.html 上传到 serve...
大数据-Flume(一)：日志收集系统【将应用产生的日志数据发送到Kafka/HDFS/HBase】【Source(上游)--Channel(缓冲区)--＞Sink(下游)】【基于CentOS6】
u013250861的博客
01-12 1814
一、Flume安装 1、在hadoop102服务器上安装 2、将Flume目录、环境变量文件分发到hadoop101、hadoop103上 二、编写Agent的配置文件 三、Flume的使用 1、Agent01(netcatsource)：监听某个tcp端口手动的数据，然后将数据输出到控制台 1.1 Agent01配置文件：netcatsource-loggersink.conf 1.2 启动 Agent01 2、Agent02(execsource)：实时监控单个本机文件的内容，将内容写入到HDFS 2.
一百七十二、Flume——Flume采集Kafka数据写入HDFS中（亲测有效、附截图）
最新发布
tiantang2renjian的博客
09-07 2905
Flume采集Kafka数据写入HDFS中
flume 入门 实时监控日志，并上传到 HDFS 中（二）
weixin_43205308的博客
05-15 249
【代码】flume 入门 实时监控日志，并上传到 HDFS 中（二）
flume安装配置-采集日志到hadoop存储
liangjianyong的博客
10-29 7755
一、整体架构        flume其实就是一个日志采集agent，在每台应用服务器安装一个flume agent，然后事实采集日志到HDFS集群环境存储，以便后续使用hive或者pig等大数据分析日志，然后可转存到mysql供运维查询或分析用户行为等。   二、 fume与hadoop集群规划，hadoop集群安装参照： 集群规划：Hive只在一个节点（hadoop3）上安装
讲项目中产生的日志自动上传到HDFS上
风情
09-02 731
说明： 项目产生日志存放的路径==> /root/luheng/ HDFS上保存日志的路径==> /fengqing/logs/ 在/root/luheng目录下新建一个upload.sh文件，其内容如下 #!/bin/bash src_dir=/root/luheng/ dst_dir=/fengqing/logs/ ls $src_dir | while read fi...
【Flume采集业务日志写入Hadoop】
pblh123的专栏
09-19 1254
flume部署，数据采集，日志采集，hdfs，hadoop
Flume到MongoDB的日志行为收集
09-10 1392
需求概述 某公司需要对玩家行为日志进行统一收集，收集后全部存入MongoDB，同时部分写入Kafka，对接SparkSteaming 做实时计算处理。他们使用的日志收集框架完全自己手动管理 效率低 需要一款可以实现高可用 分布式横向扩展的日志收集框架这时候Flume来了...
FlumeNG实战：分布式日志收集与高可用搭建
在单点FlumeNG的实例中，演示了如何在已有Hadoop集群上配置FlumeNG，将日志数据收集到HDFS。" FlumeNG是Apache Hadoop生态中的一个重要工具，用于大规模日志数据的采集、聚合和传输。它设计的目标是轻量级、易配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值