Flume的安装及使用

最新推荐文章于 2024-07-18 21:37:27 发布
最新推荐文章于 2024-07-18 21:37:27 发布
阅读量2.2k 收藏 12
点赞数 2
文章标签： etl flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44624060/article/details/118656990
版权
本文详细介绍了Apache Flume的安装与使用，包括如何配置和启动Flume来监控目录、将数据输出到HDFS以及从HBase日志到HDFS的流程。Flume是一个分布式、可靠且可用于有效聚合大量数据的系统，适用于实时数据流处理。通过实例展示了Flume的source、channel和sink的配置，以及如何通过Flume将数据发送到logger、HDFS和HBase。
摘要由CSDN通过智能技术生成

Flume的安装及使用

文章目录

Flume的安装

1、上传至虚拟机，并解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/

在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft
alias soft=‘cd /usr/local/soft/’

2、重命名目录，并配置环境变量
mv apache-flume-1.9.0-bin/ flume-1.9.0
vim /etc/profile
source /etc/profile
3、查看flume版本
flume-ng version

[root@master soft]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9
[root@master soft]#
4、测试flume

  • 监控一个目录，将数据打印出来

    • 配置文件
    # a1表示agent的名字 可以自定义
# 给sources（在一个agent里可以定义多个source）取个名字
a1.sources = r1
# 给channel个名字
a1.channels = c1
# 给channel个名字
a1.sinks = k1 

# 对source进行配置
# agent的名字.sources.source的名字.参数 = 参数值

# source的类型 spoolDir（监控一个目录下的文件的变化）
a1.sources.r1.type = spooldir 
# 监听哪一个目录
a1.sources.r1.spoolDir = /root/data 
# 是否在event的headers中保存文件的绝对路径
a1.sources.r1.fileHeader = true
# 给拦截器取个名字 i1
a1.sources.r1.interceptors = i1 
# 使用timestamp拦截器，将处理数据的时间保存到event的headers中
a1.sources.r1.interceptors.i1.type = timestamp

# 配置channel
a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 配置sink为logger
# 直接打印到控制台
a1.sinks.k1.type = logger

# 将source、channel、sink组装成agent
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1
    • 启动agent
    flume-ng agent -n a1 -f ./spoolingtest.conf -Dflume.root.logger=DEBUG,console
    • 新建/root/data目录
    mkdir /root/data
    • 在/root/data/目录下新建文件，输入内容，观察flume进程打印的日志
    # 随意在a.txt中加入一些内容
vim /root/data/a.txt
5、flume的使用

  • spoolingToHDFS.conf

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = spooldir 
a.sources.r1.spoolDir = /root/data 
a.sources.r1.fileHeader = true 
a.sources.r1.interceptors = i1 
a.sources.r1.interceptors.i1.type = timestamp
#指定sink的类型
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = /flume/data/dir1
# 指定文件名前缀
a.sinks.k1.hdfs.filePrefix = student
# 指定达到多少数据量写一次文件 单位：bytes
a.sinks.k1.hdfs.rollSize = 102400
# 指定多少条写一次文件
a.sinks.k1.hdfs.rollCount = 1000
# 指定文件类型为 流 来什么输出什么
a.sinks.k1.hdfs.fileType = DataStream
# 指定文件输出格式 为text
a.sinks.k1.hdfs.writeFormat = text
# 指定文件名后缀
a.sinks.k1.hdfs.fileSuffix = .txt

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1
    • 在 /root/data/目录下准备数据
    The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren't special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you're Dutch.
Now is better than never.
Although never is often better than *right* now.
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let's do more of those!
    • 启动agent
    flume-ng agent -n a -f ./spoolingToHDFS.conf -Dflume.root.logger=DEBUG,console

  • hbaseLogToHDFS

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = exec 
a.sources.r1.command = tail -f /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log
#指定sink的类型
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = /flume/data/dir2
# 指定文件名前缀
a.sinks.k1.hdfs.filePrefix = hbaselog
# 指定达到多少数据量写一次文件 单位：bytes
a.sinks.k1.hdfs.rollSize = 102400
# 指定多少条写一次文件
a.sinks.k1.hdfs.rollCount = 1000
# 指定文件类型为 流 来什么输出什么
a.sinks.k1.hdfs.fileType = DataStream
# 指定文件输出格式 为text
a.sinks.k1.hdfs.writeFormat = text
# 指定文件名后缀
a.sinks.k1.hdfs.fileSuffix = .txt

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

  • hbaselogToHBase

    • 在hbase中创建log表
    create 'log','cf1'
    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = exec 
a.sources.r1.command = cat /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log
#指定sink的类型
a.sinks.k1.type = hbase
a.sinks.k1.table = log
a.sinks.k1.columnFamily = cf1

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 100000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

  • netcatLogger

    监听telnet端口

    • 安装telnet
    yum install telnet
    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = netcat 
a.sources.r1.bind = 0.0.0.0 
a.sources.r1.port = 8888 

#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

    • 启动

      • 先启动agent
      flume-ng agent -n a -f ./netcatToLogger.conf -Dflume.root.logger=DEBUG,console
      • 再启动telnet
      telnet master 8888

  • httpToLogger

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = http 
a.sources.r1.port = 6666 

#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

    • 启动

      • 先启动agent
      flume-ng agent -n a -f ./httpToLogger.conf -Dflume.root.logger=DEBUG,console
      • 再使用curl发起一个http请求
      curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]' http://master:6
星辰安安
关注
Flume的安装及基本使用
QYHuiiQ
05-04 295
下载地址： https://flume.apache.org/download.html 上传至目标服务器 解压 [root@hadoop01 wyh]# tar -zxvf apache-flume-1.8.0-bin.tar.gz 配置环境变量 [root@hadoop01 wyh]# vi /etc/profile #添加环境变量 FLUME_HOME=/usr/local/wyh/apache-flume-1.8.0-bin PATH=$PATH:$FLUME_HOME/bin
Flume安装及使用
小财迷嘻嘻的博客
01-15 368
目录1、Flume安装2、演示示例2.1 netcat source2.2 exec source2.3 spooldir source2.4 http source2.5 taildir source2.6 avro sink and source2.7 HDFS sink3、练习练习1 官网: http://flume.apache.org/ 1、Flume安装 1.上传安装包 2.解压 tar zxvf /opt/software/apache-flume-1.8.0-bin.tar.gz -C /o
Flume的安装及简单的使用（一）
qq_38799155的博客
09-18 1064
1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一个可用版本0.
Flume安装与使用
weixin_72036027的博客
03-10 768
flume概念和使用
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
qq_73339471的博客
07-18 1887
Flume 是一个的，主要用于将大量的数据从（如日志文件、数据库、本地磁盘等）采集到（主要为）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。
flume的安装配置和使用
qq_16563637的博客
08-15 311
下载flume 能够采集的数据类型: Avro Thirft Exec Jms 从支持Jms协议的MQ中获取数据ActiveMQ已经测试过 Spooling Driectory 监控指定目录内数据变更 Twitter 通过API持续下载Twitter数据,实验性质 Netcat 监控某一个端口将流经端口的每一个文本行数据作为event输入 Sequence Generator...
flume安装程序
12-10
在本安装指南中，我们将深入探讨如何使用提供的`flume-1.6.0-bin.tar`安装包来安装和配置Apache Flume。 1. **下载与准备**： 首先，你需要从Apache官方网站下载Flume的最新稳定版本。在本例中，我们已有一个名为`...
Flume安装和简单使用
01-07
Flume安装和简单使用Flume简介Flume安装Flume框架示例 Flume简介 来自官网 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log ...
flume 安装和使用
05-30
安装 Flume 首先需要确保你的系统上已经安装了 Java 1.7 或更高版本，并且正确配置了 Java 环境变量。你可以通过 `java -version` 命令检查 Java 版本。然后，你可以从 Flume 的官方网站...
Flume安装详细步骤
11-30
Flume安装的详细步骤哈
flume安装及使用
weixin_41083358的博客
09-07 517
flume安装及使用
flume的安装和使用
kinglyjn的博客
10-30 2104
flume简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。支持在日志 系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方。Flume采用了多Master的方式，为了保证配置数据的一致性，Flume引入了ZooKeeper
Flume的安装使用教程，详细带图
weixin_44912627的博客
07-19 2440
一、Flume的概念： Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集，聚合和传输的系统。Flumens基于流式架构，灵活简单。 Flume最主要的作用就是实时的读取服务器本地磁盘的数据，然后上传到HDFS（虽然也可以直接从服务器本地上传，但是不是实时的）。 二、Flume组成架构： 1.Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。启动agent之后，进程名称：Application Agent主要有3个部分组
Flume 的安装
qq_43613793的博客
04-24 507
上传并解压安装文件 将apache-flume-1.8.0-bin.tar.gz上传到centos01节点的/opt/softwares目录，并将其解压到/opt/modules/目录下： tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/modules/ 配置环境变量 vim /etc/profile export FLUME_HOME=/opt/modules/apache-flume-1.8.0-bin export PATH=$PATH:$FLUME
Flume安装
timicai的博客
11-30 376
flume安装目录一、安装Flume二、安装nc三、安装telnet测试四、案例 安装包及测试文件 提取码: ktc2 一、安装Flume 1.压缩包拉入opt目录中 2.解压flume到opt tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz 3.重命名flume mv apache-flume-1.6.0-cdh5.14.0-bin/ flume 4.切换到flume的conf cd flume/conf 5.拷贝一份flume-env.sh.template，重
flume安装
weixin_38610500的博客
12-27 716
flume安装安装及配置环境变量使用 安装及配置环境变量 1.保证有JAVA_HOME; 2.直接解压即可； 将 apache-flume-1.7.0-bin.tar.gz包放到/opt/soft下,加压到/opt/module下 [atguigu@hadoop1 flume-1.7]$ ls bin CHANGELOG conf DEVNOTES doap_Flume.rdf docs lib LICENSE NOTICE README.md RELEASE-NOTES tools
flume安装与使用
m0_64416846的博客
04-11 1683
一，Flume 基础架构 1.1 Agent   Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。   Agent 主要有三个组成部分，Source、Channel、Sink。 1.2Source   Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值