Flume

于 2016-12-04 21:52:28 发布
阅读量1.4k 收藏 5
点赞数
分类专栏： 笔记 大数据学习 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoyuexihuai/article/details/53456880
版权

Flume Agent

    Flume Agent的配置被存储在一个本地配置文件,这是一个根据java属性文件格式的文本文件，在这个配置文件中，包括了对source、channel、sink的属性配置，和其相关联形成数据流的配置。
    Flume Agent实时监控端口，收集数据，将其以日志的形式打印在控制台。
    一个source可以分发到多个channel，一个sink取一个channel的数据。
    Flume的开发就是编写配置文件，说白了就是Agent中Source、Channel和Sink的类型及属性。
企业中常用的flume type
source(获取数据源)：
    ->exec (文件)
    ->spoolingdir (文件夹)
    ->taildir(文件夹及文件的变动)
    ->kafka
    ->syslog
    ->http
channel(管道)：
    ->mem
    ->file
    ->kafka
sink(将channel中的 数据发送到目标地址):
    ->hdfs
    ->hive
    ->hbase
        ->同步
        ->异步

Agent的编写（初级）

  1. 案例1：source：hive.log，channel: mem，sink:log

    1. 前期工作

      拷贝一份conf目录下的文件：cp flume-conf.properties.template hive-men-log.properties
动态查看hive的log：tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
-Dflume.root.logger=INFO,console ： 日志级别

    2. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/hive-mem-log.properties -Dflume.root.logger=INFO,console
    3. 具体内容 
      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = logger


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

  2. 案例2：channel：file

    1. 前期工作

      需要先创建目录在/opt/datas下：mkdir -p flume/datas，mkdir flume/check
    以下两个参数是必须的
a1.channels.c1.dataDirs = /opt/datas/flume/datas
a1.channels.c1.checkpointDir = /opt/datas/flume/check

    2. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/hive-file-log.properties -Dflume.root.logger=INFO,console

    3. 具体内容

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = file
a1.channels.c1.dataDirs = /opt/datas/flume/datas
a1.channels.c1.checkpointDir = /opt/datas/flume/check


# define sink

a1.sinks.k1.type = logger


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

  3. 案例3：sink:hdfs

    1. 前期工作

      案例分析：实时收集数据至HDFS
    此案例实时监控Hive日志文件，放到HDFS目录中。
    实时监控某个日志文件，将数据收集存储到HDFS上。此案例使用EXEC Source，实时监控文件数据，使用Memory Channel缓存数据，使用HDFS Sink写入数据。

a1.sinks.k1.hdfs.path = /flume/event/size
三种配置方式：1.配置全局变量 2.考入配置文件 3.写出HDFS绝对路径

HDFS目录：a1.sinks.k1.hdfs.path = /flume/event

    2. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/hive-mem-hdfs.properties -Dflume.root.logger=INFO,console

    3. 具体内容

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/event
a1.sinks.k1.hdfs.fileType = DataStream


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Agent当前存在问题（中级）

  1. 关于文件大小,案例4：size

    1. 前期工作

      
# define sink  基于大小，就把基于时间的关闭，设置为0即可

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/event/size
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollSize = 10240
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 0

    2. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/hive-mem-size.properties -Dflume.root.logger=INFO,console

    3. 具体内容

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/event/size
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollSize = 10240
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 0


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

  2. hive分区表与修改文件头部,案例5

    1. hive分区

      a1.sinks.k1.hdfs.path = /flume/event/date/date=%Y%m%d/hour=%H%M

    2. 修改文件头部

      a1.sinks.k1.hdfs.filePrefix = hive-log

    3. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/hive-mem-part.properties -Dflume.root.logger=INFO,console

    4. 具体内容

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/event/date/date=%Y%m%d/hour=%H%M
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollSize = 10240
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.filePrefix = hive-log


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

企业中的日志存储一（高级一）

  1. 案例6：source：spoolingdir

    1. 前期工作

      企业中日志文件的产生如下：
web_log/20161127.log.tmp  ->  20161127.log
            20161128.log.tmp

如何进行数据的采集？exec：监控是一个文件
需求：动态监控文件夹内新文件的生成，并且采集
source：spoolingdir   监控目录

创建目录：/opt/datas/flume/spoodir

    2. 运行指令 

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/dir-mem-hdfs.properties -Dflume.root.logger=INFO,console

    3. 具体内容

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /opt/datas/flume/spooldir


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/dir
a1.sinks.k1.hdfs.fileType = DataStream


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    4. 测试
      拷贝一个文件到目录下，运行结束后文件名变为20161202.log.COMPLETED 表示上传完成。
      这里写图片描述

    5. 优化：忽略以.tmp结尾的文件 
      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /opt/datas/flume/spooldir
a1.sources.s1.ignorePattern = ([^ ]*\.tmp$)


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/dir-ig
a1.sinks.k1.hdfs.fileType = DataStream


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

企业架构（高级二）

  1. 多sink的配置：一个sink对应一个channel

    1. 具体内容 
      
#define a agent 

a1.sources = s1
a1.channels = hdfsc1 hdfsc2
a1.sinks = hdfs1 hdfs2


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel1

a1.channels.hdfsc1.type = file
a1.channels.hdfsc1.dataDirs = /opt/datas/flume/data1
a1.channels.hdfsc1.checkpointDir = /opt/datas/flume/check1


# define channel2

a1.channels.hdfsc2.type = file
a1.channels.hdfsc2.dataDirs = /opt/datas/flume/data2
a1.channels.hdfsc2.checkpointDir = /opt/datas/flume/check2  


# define sink1

a1.sinks.hdfs1.type = hdfs
a1.sinks.hdfs1.hdfs.path = /flume/dir1
a1.sinks.hdfs1.hdfs.fileType = DataStream


# define sink2

a1.sinks.hdfs2.type = hdfs
a1.sinks.hdfs2.hdfs.path = /flume/dir2
a1.sinks.hdfs2.hdfs.fileType = DataStream


#zuhe source sink channel

a1.sources.s1.channels = hdfsc1 hdfsc2
a1.sinks.hdfs1.channel = hdfsc1
a1.sinks.hdfs2.channel = hdfsc2

  2. flume collect

    1. 前期工作

      avro sink  &  avro source
    agent端配置：收集日志传输给avro source
    collect端配置：收集agent的数据，传递给HDFS sink
配置好avro-collect.properties发送到集群中其他机器

    2. 运行指令

      主机运行collect：bin/flume-ng agent --conf conf/  --name a1 --conf-file conf/avro-collect.properties -Dflume.root.logger=INFO,console
slave1机器运行agent1： bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/avro-agent.properties -Dflume.root.logger=INFO,console
slave2机器运行agent2： bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/avro-agent.properties -Dflume.root.logger=INFO,console

    3. 具体内容：avro-collect.properties

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = avro
a1.sources.s1.bind = 192.168.134.191
a1.sources.s1.port = 50505


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100    


# define sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/avro
a1.sinks.k1.hdfs.fileType = DataStream


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    4. 具体内容：avro-agent.properties

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100


# define sink

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.134.191
a1.sinks.k1.port = 50505


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

使用taildir（高级三）

  1. 关于taildir
    1. 需求
      监控文件的同时要监控文件夹，但是exec,spoolingdir满足不了需求，因此选择使用taildir，这是1.7以后才有的功能，需要手动编译源码。

  2. 编译完成taildir，GitHub

    1. 新建一个目录，尽量不包含中文

    2. 进入目录，执行

      git clone https://github.com/apache/flume.git

    3. 下载完成，进入flume目录

      查看所有版本：git branch -r 
查看当前版本：git branch -a
切换版本：git checkout origin/flume-1.7

    4. 导入eclipse

      1. jar包替换

        -》1.5.0
    1.5.0-cdh5.3.6
-》cdh版本
    添加cdh的maven源
-》建议直接拷贝提供的pom

      2. 报错

        1. 删除overwrite
          这里写图片描述
        2. 拷贝flume-1.7/core/source/PollableSourceConstants.class到项目中
    5. 编译Maven
      这里写图片描述
    6. 将jar包放入flume的lib：flume-taildir-source-1.5.0-cdh5.3.6.jar

  3. 实现taildir

    1. 前期工作

      创建文件：[beifeng@hadoop-senior01 flume]$ echo " " >hadoop10.log
创建目录：[beifeng@hadoop-senior01 flume]$ mkdir hadoop10

    2. 运行指令

      bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/taildir-mem-log.properties -Dflume.root.logger=INFO,console

    3. 具体内容 

      
#define a agent 

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# define source

a1.sources.s1.type = org.apache.flume.source.taildir.TaildirSource
a1.sources.s1.positionFile = /opt/cdh-5.3.6/flume-1.5.0-cdh5.3.6-bin/position/taildir_position.json
a1.sources.s1.filegroups = f1 f2
a1.sources.s1.filegroups.f1 = /opt/datas/flume/hadoop10.log
a1.sources.s1.headers.f1.headerKey1 = value1
a1.sources.s1.filegroups.f2 = /opt/datas/flume/hadoop10/.*
a1.sources.s1.headers.f2.headerKey1 = value2-1
a1.sources.s1.headers.f2.headerKey2 = value2-2
a1.sources.s1.fileHeader = true


# define channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100


# define sink

a1.sinks.k1.type = logger


#zuhe source sink channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    4. 实现效果
      测试
      这里写图片描述

      控制台显示
      这里写图片描述

      taildir_position.json内容
      这里写图片描述

H_Hao
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume详解 从原理到应用
weixin_41929239的博客
11-17 1472
第一章 flume概述 1.1 flume定义 flume是cloudera提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。flume基于流式架构，灵活简单。 flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入HDFS或kafka消息队列中。 1.2 flume基础架构 flume的组成架构如图所示： 1.2.1 agent agent是一个jvm进程，他以事件的形式将数据从源头送至目的地。 agent主要有3个部分组成：source、channel、sink 1.2
大数据学习之分布式数据采集系统Flume学习
最新发布
m0_58050808的博客
06-28 1659
使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。在该案例中，我们以端口数据模拟日志，模拟不同类型的日志，我们需要自定义interceptor区分内容是否包含shujia，将其分别发往不同的分析系统（Channel）。实现代码import org/*** 1. 如何自定义拦截器?* flume的自定义拦截器需要实现Flume提供的Interceptor接口.* 实现抽象方法:* initialize: 完成一些初始化工作.
Flume环境部署和配置详解及案例大全
moonpure的专栏
07-22 790
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 　　一、什么是Flume? 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 F
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
flume
03-25
Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.5.1/
flume安装程序
12-10
Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。它是Apache Hadoop生态系统的一部分，特别设计用于处理和传输大规模流式数据。Flume通过简单而灵活的架构实现了数据的高效...
Flume集群搭建1
08-08
Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。在本场景中，我们将讨论如何在两台机器（hadoop12 和 Hadoop13）上搭建一个简单的 Flume 集群，以便进行数据推送和拉取。 ...
Flume笔记.zip
04-04
《Flume：大数据实时数据采集详解》 Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计简洁，易于配置，是大数据环境中进行实时数据流处理的重要工具。Flume 的核心概念包括...
Flume大数据日志收集实战指南
"Flume是大数据领域中用于高效收集、聚合和移动大量日志数据的分布式服务。它在Unix环境中运行，具有高可用性、容错性和灵活性。Flume主要由Source、Channel和Sink三个核心组件构成，通过Event作为传输单元来流动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值