flume实战

最新推荐文章于 2024-11-03 16:56:30 发布
最新推荐文章于 2024-11-03 16:56:30 发布
阅读量116 收藏 1
点赞数
文章标签： 大数据 java 开发工具
原文链接：https://my.oschina.net/u/2954291/blog/876891
版权

1.采集目录到HDFS

采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去

根据需求，首先定义以下3大要素

l  采集源，即source——监控文件目录 :  spooldir

l  下沉目标，即sink——HDFS文件系统  :  hdfs sink

l  source和sink之间的传递通道——channel，可用file channel 也可以用内存channel

 

配置文件编写：

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /logs
agent1.sources.source1.fileHeader = false

agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname
agent1.sources.source1.deserializer.outputCharset=UTF-8
agent1.sources.source1.deserializer.outputCharset=ISO-8859-1 #读取文件编码方式
agent1.sources.source1.ignorePattern = ^(.)*\\.tmp$  #文件没上传完成不采集

agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path =hdfs://10.1.20.174:8020/web_log
agent1.sinks.sink1.hdfs.filePrefix = log_
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 102400
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
#agent1.sinks.sink1.hdfs.round = true
#agent1.sinks.sink1.hdfs.roundValue = 10
#agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
agent1.sinks.sink1.hdfs.callTimeout=30000
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.keep-alive = 120
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.transactionCapacity = 600

# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

启动命令（在flume根目录启动）

bin/flume-ng agent -c ./conf -f ./conf/spooldir-hdfs.conf -n agent1 -Dflume.root.logger=INFO,console

2.采集文件到HDFS

采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs

 

根据需求，首先定义以下3大要素

l  采集源，即source——监控文件内容更新 :  exec  ‘tail -F file’

l  下沉目标，即sink——HDFS文件系统  :  hdfs sink

l  Source和sink之间的传递通道——channel，可用file channel 也可以用 内存channel

 

配置文件编写：

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# Describe/configure tail -F source1
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /logs/server.log
agent1.sources.source1.channels = channel1

#configure host for source
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname

# Describe sink1
agent1.sinks.sink1.type = hdfs
#a1.sinks.k1.channel = c1
agent1.sinks.sink1.hdfs.path =hdfs://10.1.20.174:8020/web_log
agent1.sinks.sink1.hdfs.filePrefix = server.log
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 102400
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
#agent1.sinks.sink1.hdfs.round = true
#agent1.sinks.sink1.hdfs.roundValue = 10
#agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.keep-alive = 120
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.transactionCapacity = 600

# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

启动命令（在flume根目录）

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n agent1 -Dflume.root.logger=INFO,console

3.综合实例

需求：将hadoop02采集到的文件发送给hadoop01，并由hadoop01保存到hdfs

步骤：

1.编写javaee程序，配置log4j 和对应的日志格式

2.将应用程序打包发布到hadoop02服务器（JAVAEE服务器）

3. 启动flume

3.1在hadoop01（hdfs）上启动一个flume的agent（avro-hdfs.conf）

[root@cloudera1 conf]# vim tail-hdfs.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 10.1.20.174
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = /web_log
a1.sinks.k1.hdfs.filePrefix = server.log
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.fileType = DataStream

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动：

[root@cloudera1 flume-1.7.0]# bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

3.2 在hadoop02上启动一个agent服务

[root@cloudera2 conf]# vim tail-avro.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /logs/server.log
a1.sources.r1.channels = c1

# Describe the sink
a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = 10.1.20.174
a1.sinks.k1.port = 4141
a1.sinks.k1.batch-size = 2

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动：

root@cloudera2 flume-1.7.0]# bin/flume-ng agent -c conf -f conf/tail-avro.conf -n a1 -Dflume.root.logger=INFO,console

4.打包web程序，发布

package com.bocai;

import java.io.IOException;

import javax.servlet.ServletException;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.apache.log4j.Logger;

@WebServlet("/item")
public class ItemServlet extends HttpServlet{

	private static final long serialVersionUID = -586155548844563441L;
	
	public static Logger logger = Logger.getLogger(ItemServlet.class);

	@Override
	protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
		
//		Date date = new Date();
//		SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
		logger.info(req.getRemoteAddr() + "\t" +req.getRequestURL()+"\t"+req.getParameter("id") + "\t" +"item");
		resp.getWriter().print("您访问了####系统 ");
	}

	@Override
	protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
		
	}
}

log4j.properties

log4j.rootLogger=INFO,Console,DailyRollingFile
#Console
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss}	%m	%n

log4j.appender.DailyRollingFile=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DailyRollingFile.layout=org.apache.log4j.PatternLayout
log4j.appender.DailyRollingFile.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss}	%m	%n
log4j.appender.DailyRollingFile.Append=true
log4j.appender.DailyRollingFile.DatePattern ='_'yyyy-MM-dd'.log'
log4j.appender.DailyRollingFile.File=/logs/server.log

 

转载于:https://my.oschina.net/u/2954291/blog/876891

chengtong1986
关注
1.flume相关配置以及配置含义
sandy
04-30 776
flume的整体基础框架如下所示： #定义三大组件的名称 1.其中source是flume日志采集的起点，监控文件系统目录，其中比较常见的是Spooling Directory Source,来进行一个数据因为意外情况数据采集中断，恢复过后，从异常中断位置继续采集。 2.flume的utf配置是默认按照utf-8来进行配置的。 agent1.sources = source1 agent1...
收视率系统
ZoeYen_
02-11 2108
一、项目背景 对《中国好声音》、《快乐男声》、《最美和声》、《中国梦之声》等各种音乐选节目收视率的一个调查。依托北330万高清交互数字电视双向用户，从中随机抽取25000户作为样本进行统计。 二、项目需求 这里展示从节目的维度，统计每个节目的平均收视人数、平均到达人数、收视率、到达率和市场份额。我们根据每天抽样用户的收视数据，统计出每个节目按天、按小时、按分钟的上述5个收视指标。 三、 ...
Flume学习笔记及配置参数详解
热门推荐
Wei_HHH的博客
09-04 1万+
一、什么是flume Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 二、flume特点 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev
flume学习（十一）：如何使用Spooling Directory Source
qiezikuaichuan的专栏
06-09 783
最近在弄一个信令数据汇聚的事情，主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的：把FTP服务器上的文件下载到一台主机上，然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去，sink是hdfs（这里解释一下，由于网络环境的因素，另一台不能访问到内网的FTP服务器，所以只能这样中转一下）。 嗯，想法不错，逻辑上看上去也应该没啥问
flume-ng学习之spooling directory类型source配置深入及解析
Jiny_li的博客
06-27 3747
flume概述 Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。 Flume主要由3个重要的组件构成：Source、Sink、Channel。 flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到
大数据技术——Flume实战案例
weixin_44606952的博客
12-26 2574
1. 复制和多路复用 1.1 案例需求 1.2 需求分析 1.3 实现操作 2. 负载均衡和故障转移 2.1 案例需求 2.2 需求分析 2.3 实现操作 3. 聚合操作 3.1 案例需求 3.2 需求分析 3.3 实现操作
Flume实战
qq_56870570的博客
06-24 259
一、Flume 简介及基本使用 二、Linux 环境下 Flume 的安装部署 三、Flume 整合 Kafka
flume实战案例
06-28 267
目录实战1实战2实战3实战4 单数据源多出口案例(选择器)实战5 单数据源多出口案例(Sink组)实战6 多数据源汇总案例 实战1 首先启动Flume任务，监控本机44444端口，服务端； 然后通过netcat工具向本机44444端口发送消息，客户端； 最后Flume将监听的数据实时显示在控制台。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost
大数据实时日志采集框架Flume实战（视频+课件+代码+工具+讲义）
03-09
Flume的介绍及其架构组成 Flume的安装部署 Flume的测试运行 Flume中配置使用file channel及HDFS sink Flume中配置HDFS文件生成大小及时间分区 Flume中配置Spooling Dir的使用 Flume中配置Spooling Dir的文件...
ukihsoroy#ukihsoroy.github.io#Spark Streaming整合Flume实战1
07-25
1.Flume Agent的编写： flume_push_streaming.conf 2.代码 4.本地测试总结 1.Flume Agent的编写： flum
大数据日志收集框架之Flume实战
2401_84181731的博客
04-27 774
五、Flume 通道。
Hive专栏概述
最新发布
通往IT大道的专栏
11-03 188
Hive“出身名门”，是最初由Facebook公司开发的数据仓库工具。它简单且容易上手，是深入学习Hadoop技术的一个很好的切入点。专栏内容包括：Hive的安装和配置，其核心组件和架构，Hive数据操作语言，如何加载、查询和分析数据，Hive的性能调优以及安全性，等等。本书旨在为读者打牢基础，从而踏上专业的大数据处理之旅。获取更多干货内容，记得关注我哦。
二百七十三、Kettle——ClickHouse中增量导入数据准确性统计表数据（1天1次）
tiantang2renjian的博客
10-31 989
Kettle——ClickHouse中增量导入数据准确性统计表数据（1天1次）
Java 入门系列（1）：总篇
Chen7Chan的博客
10-30 483
新的编程之旅--Java站
中药大数据（四）：数据预处理+管理端的功能实现
roccreed的专栏
10-30 438
中药材产地可视化：内含全国省份的中药材种类分布地图，这个数据是从scrapy爬虫爬取到的数据进行提取之后使用echarts可视化进行提取的。提供主页功能：管理员可以直观查看系统数据情况、用户登录的信息、3D词云。用户可以向后台管理员发送中药药材和药方的纠错申请，管理员可以进行处理。数据爬取功能：基于scrapy爬虫进行中药药材数据和药方数据的爬取。比如我们输入了青酒缸，在中国地图上金色的点位展示了产地的信息。数据预处理：从药材数据中提取药材的产地信息。用户信息管理：可以进行用户增删改查的操作。
大数据治理在企业信息化建设中的应用与挑战
Davina_yu的博客
10-31 640
解释什么是大数据治理，包括数据生命周期管理、数据质量控制等。大数据治理是一种系统化的管理方法，旨在确保组织能够有效地管理和利用其大数据资产。它涉及到一系列策略、政策、标准和程序，以确保数据在整个生命周期中的质量、安全、合规性以及最大化的价值。大数据治理的目标是在保护数据的同时，促进数据的可用性、可靠性和价值创造。本文探讨了大数据治理的基本概念及其重要性，并详细分析了实施大数据治理过程中可能遇到的各种挑战及相应的对策。
实时数据流处理：Flume实战指南
"Using Flume" 是一本由 Hari Shreedharan 编写的关于使用 Flume 的详细指南，旨在帮助用户了解如何实时地将前端服务器数据...书中的案例和实战指导可以帮助读者快速上手，并掌握将 Flume 整合到其大数据架构中的技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值