虚拟机安装Flume

最新推荐文章于 2024-05-12 16:12:10 发布
最新推荐文章于 2024-05-12 16:12:10 发布
阅读量1.3k 收藏 8
点赞数
分类专栏： 大数据 文章标签： flume hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41311528/article/details/112761902
版权

Flume

官网: http://flume.apache.org/

Flume安装

1.上传安装包

2.解压

tar zxvf /opt/software/apache-flume-1.8.0-bin.tar.gz -C /opt/install/

3.配置Java环境变量

cd $FLUME_HOME/conf
mv flume-env.sh.template flume-env.sh
vi flume-env.sh
-----------------------------------------
export JAVA_HOME=/opt/install/java

4.配置Flume环境变量

vi /etc/profile
-----------------------------------------
# FLUME
export FLUME_HOME=/opt/install/apache-flume-1.8.0-bin
export PATH=$FLUME_HOME/bin:$PATH
-----------------------------------------
source /etc/profile

5.查看版本

[root@singleNode ~]# flume-ng version
Flume 1.8.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f
Compiled by denes on Fri Sep 15 14:58:00 CEST 2017
From source with checksum fbb44c8c8fb63a49be0a59e27316833d

演示示例

netcat source

image-20210115085602523

1.编写Flume的配置文件

vi source_netcat.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
a1.sources.s1.type = netcat
a1.sources.s1.bind = localhost
a1.sources.s1.port = 5678
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1

2.启动Flume【路径容易存在问题：①配置文件的路径， ②Flume脚本的路径】

flume-ng agent --name a1 -f source_netcat.conf -Dflume.root.logger=INFO,console

启动成功如图所示：
在这里插入图片描述

3.启动telnet发送数据

# 安装telnet
yum -y install telnet.x86_64
# 启动telnet
telnet localhost 5678
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
# 发送数据
hello world
OK

4.查看Flume日志输出

image-20210115091858853

exec source

1.编写Flume的配置文件

vi source_exec.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置source的类型为exec, 代表需要执行一条命令, 所以需要给定一个command
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /root/flume_conf/xxx.log
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1

2.启动Flume, 直接启动Flume, 由于没有/root/flume_conf/xxx.log这个文件, 程序会显示exited with 1

所以应该先创建/root/flume_conf/xxx.log, 然后在启动Flume

flume-ng agent --name a1 -f source_exec.conf -Dflume.root.logger=INFO,console

image-20210115100505835

3.对文件追加数据. 我们在这个文件当中添加一些数据, 验证Flume是否检测到并采集

image-20210115101114003

spooldir source

1.编写Flume的配置文件

vi source_spooldir.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置source的类型为spooldir, 代表监控一个文件夹里边是否有新文件产生, 所以需要给定一个文件夹
a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /root/test
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1
--------------------------------
# 创建文件夹
mkdir /root/test

2.启动Flume, 直接启动Flume

flume-ng agent --name a1 -f source_spooldir.conf -Dflume.root.logger=INFO,console

image-20210115105005199

3.向/root/test拷贝文件, 查看Flume的输出

cp flume_conf/*.conf test/

image-20210115105124746

4.查看/root/test下的文件名

image-20210115105256417

http source

1.编写Flume的配置文件

vi source_http.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置source的类型为spooldir, 代表监控一个文件夹里边是否有新文件产生, 所以需要给定一个文件夹
a1.sources.s1.type = http
a1.sources.s1.port = 5678
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1
--------------------------------

2.启动Flume, 直接启动Flume

flume-ng agent --name a1 -f source_http.conf -Dflume.root.logger=INFO,console

image-20210115105832796

3.发送post请求, 查看Flume输出

curl -XPOST localhost:5678 -d'[{"headers":{"h1":"v1","h2":"v2"},"body":"hello body"}]'

image-20210115110012034

taildir source

可以同时监控一个或多个文件, 并带有偏移量存储文件来记录上次读到的位置, 下次可以接着读

# 设置sources和channels的名字
a1.sources = r1
a1.channels = c1
# 配置source
a1.sources.r1.type = TAILDIR # 指定类型为TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json # 定义偏移量存储路径
a1.sources.r1.filegroups = f1 f2 # 定义文件组, 多个文件 f1,f2
a1.sources.r1.filegroups.f1 = /var/log/test1/example.log # 对f1指定绝对路径
a1.sources.r1.headers.f1.headerKey1 = value1 # 向f1的header添加kv对
a1.sources.r1.filegroups.f2 = /var/log/test2/.*log.* # 对f2指定绝对路径
a1.sources.r1.headers.f2.headerKey1 = value2 # 向f2的header添加kv对
a1.sources.r1.headers.f2.headerKey2 = value2-2 # 向f2的header添加kv对
a1.sources.r1.fileHeader = true # 	是否添加一个头信息来存储文件的绝对路径, 默认是false

avro sink and source

1.编写Flume的配置文件

vi sink_avro.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置source的类型为spooldir, 代表监控一个文件夹里边是否有新文件产生, 所以需要给定一个文件夹
a1.sources.s1.type = http
a1.sources.s1.port = 5678
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置, 设置格式为avro, 主机和端口号
a1.sinks.sk1.type = avro
a1.sinks.sk1.hostname = localhost
a1.sinks.sk1.port = 4444
a1.sinks.sk1.channel = c1
--------------------------------

vi source_avro.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置格式为avro, 主机和端口号 
a1.sources.s1.type = avro
a1.sources.s1.bind = localhost
a1.sources.s1.port = 4444
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1
--------------------------------

2.启动Flume, 直接启动Flume, 先启动sink_avro, 在启动source_avro

flume-ng agent --name a1 -f source_avro.conf -Dflume.root.logger=INFO,console
flume-ng agent --name a1 -f sink_avro.conf -Dflume.root.logger=INFO,console

image-20210115112325136

image-20210115112339649

3.发送post请求, 查看Flume输出

curl -XPOST localhost:5678 -d'[{"headers":{"h1":"v1","h2":"v2"},"body":"hello body"}]'

image-20210115112426324

HDFS sink

1.编写Flume的配置文件

vi sink_hdfs.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
a1.sources.s1.type = netcat
a1.sources.s1.bind = localhost
a1.sources.s1.port = 5678
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = hdfs
a1.sinks.sk1.hdfs.path = /data/20210115
a1.sinks.sk1.channel = c1

2.启动Flume

flume-ng agent --name a1 -f sink_hdfs.conf -Dflume.root.logger=INFO,console

image-20210115114644690

3.启动telnet发送数据

# 启动telnet
telnet localhost 5678
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
# 发送数据
hello world
OK
hello spark
OK
hello hadoop scala
OK

4.查看Flume日志输出

image-20210115114808621

5.查看HDFS上的文件

hdfs dfs -text /data/20210115/FlumeData.1610682426351

image-20210115115009833

【扩展】实际开发中常用参数

image-20210115115644466

练习

练习1

1.编写Flume的配置文件

vi /root/flume_conf/echoPaths.sh
--------------------------------
#!/bin/bash
for i in /root/*
do
  echo $i
done
--------------------------------
vi practise1.conf
--------------------------------
# 定义 source, channel, 和sink的名字
a1.sources = s1
a1.channels = c1
a1.sinks = sk1
# 对source的一些设置
# 设置source的类型为exec, 代表需要执行一条命令, 所以需要给定一个command
a1.sources.s1.type = exec
a1.sources.s1.command = bash /root/flume_conf/echoPaths.sh
a1.sources.s1.channels = c1
# 对channel的一些设置
a1.channels.c1.type = memory
# 对sink的一些设置
a1.sinks.sk1.type = logger
a1.sinks.sk1.channel = c1

2.启动Flume

flume-ng agent --name a1 -f practise1.conf -Dflume.root.logger=INFO,console

image-20210115104221911

斯特凡今天也很帅
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚拟机上安装flume
欢迎大神交流讨论
11-02 889
1.首先找到你的flume安装包 2.上传文件到opt目录下 3.tar -zxf flume-ng-1.6.0-cdh5.14.2.tar.gz 4.mv apache-flume-1.6.0-cdh5.14.2-bin/ soft/flume160 5.yum install -y nc 6.cd soft/flume160/conf/ 7.cp flume-env.sh.template flume-env.sh 8.vim flume-env.sh 9.vim /etc/pr..
flume在虚拟机上安装，
09-17
flume安装，其中有具体的安装流程，注意事项，可能遇到的问题已经解决办法。
最新【数仓】flume软件安装及配置_flume的安装配置，【深度思考
最新发布
2401_84181058的博客
05-12 875
在实际应用中，Flume可以用于日志收集、事件跟踪、数据流处理等场景。通过将数据从不同的数据源采集并传输到指定的目的地，Flume可以帮助企业实现数据的集中存储和管理，为后续的数据分析和挖掘提供基础。它主要用于将大量的日志数据从不同的数据源收集起来，然后通过通道（Channel）进行传输，最终将数据传输到指定的目的地，如HDFS、HBase等。这份配置文件定义了一个简单的Flume Agent，它使用TAILDIR source来监控某个目录下的日志文件变化，并将新增的日志内容发送到Kafka。
虚拟机中flume的安装和部署（超详细）
m0_74953387的博客
09-30 1591
解压flume安装包，创建软链接，配置环境变量，修改配置文件，添加 java 环境变量
Flume安装配置
Dream'
05-21 263
目录 一、安装准备 二、安装Flume 三、配置Flume 四、测试 一、安装准备 Flume安装包： 链接：https://pan.baidu.com/s/1GZN-vzvDnd_I_r40p_qc6g 提取码：8fkx 二、安装Flume 1.上传文件到hadoop01虚拟机 2.解压并移动到servers目录 tar -zxvf apache-flume-1.8.0-bin.tar.gz mv apache-flume-1.8.0-bin /export/serve..
flume安装
cp1002327672的博客
03-16 96
在nc端 ctrl+c。
flume 安装配置
11-05
确保你的服务器或虚拟机已经安装了 CentOS 64 位操作系统。如果没有安装，可以从 CentOS 官方网站下载安装镜像进行安装。 ##### 2.2 安装 JDK 1.7 及以上版本 由于 Flume 基于 Java 开发，因此需要先安装 Java ...
flume、Kafka的安装详细步骤与简单案例测试
10-13
《Flume与Kafka安装详解及简单应用测试》 Flume和Kafka是大数据处理领域中的两个重要组件，主要用于数据采集和数据流转。本文将详细介绍这两个工具在Ubuntu Kylin 16.04上的安装步骤，并提供简单的测试案例，帮助...
Flume+Kafka整合环境（监控目录+监控文件）实验作业参考
10-31
Flume+Kafka整合环境（监控目录+监控文件） 实验作业，仅供参考
大数据技术之Flume.docx
03-03
Flume的核心结构由Agent构成，每个Agent是一个Java虚拟机进程，负责将数据从源点传输到目标点。Agent主要包含三个组件：Source、Channel和Sink。 Source是数据流入Flume Agent的入口，能够处理各种格式的日志数据，...
Linux虚拟机安装flume-1.5.0-cdh5.3.6
夏目三三
12-13 444
下载 cdh5.3.6 密码:bqgj 官方下载地址 配置 1.修改conf文件夹下的 flume-env.sh.template 去除.template //更新前 # export JAVA_HOME=/usr/lib/jvm/java-6-sun //更新后 export JAVA_HOME=/opt/module/jdk1.8.0_144 2.flume下的/lib目录 引入Had...
Flume安装详细步骤
11-30
Flume安装的详细步骤哈
Flume1.9安装及使用
落幕7的博客
10-22 859
Flume的安装及使用 文章目录Flume的安装及使用Flume的安装1、上传压缩包至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用 Flume的安装 1、上传压缩包至虚拟机，并解压 点击Flume-1.9.0压缩包下载地址进行下载 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft ali
Flume的安装及简单的使用（一）
qq_38799155的博客
09-18 1001
1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一个可用版本0.
flume1.8.0 vm虚拟机搭建
ROMdayfish的博客
03-18 279
一.安装部署 提前准备 vm虚拟机（Redhat 7） java 1.8 flume 1.8：国内第三方地址：https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 路径自己设置，如果怕出问题。可以设置和博主一样的。 压缩包存放位置：/opt/software （创建命令：mkdir -p /opt/software) 解压后的位置 ：/opt/module (创建命令：mkdir -p
Flume的安装及简单使用
a805814077的博客
10-26 1106
大数据辅助工具flume的安装及其简单使用
Linux基础环境搭建（CentOS7）- 安装Flume
热门推荐
?
04-23 1万+
Linux基础环境搭建（CentOS7）- 安装Flume 大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！ Linux基础环境搭建（CentOS7）- 虚拟机准备 Linux基础环境搭建（CentOS7）- 安装JDK Linux基础环境搭建（CentOS7）- 安装Hadoop Linux基础环境搭建（CentOS7）- 安装Zookeeper Linux基础环境搭建（CentOS7）- 安装Kafka Linux基础环境搭建（CentOS7）- 安装HBase Linux基础环境搭建（C
Flume安装部署
极地星辰
06-02 1043
相关知识 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 FLUME-NG架构图 Flume的架构主要有一下几个核心概念： • Event：一个数据单元，带有一个可选的消息头 • Flow：Event从...
安装flume,并简单使用
dd1296的博客
08-16 323
1、安装flume 首先解压flume安装包到CentOS7虚拟机的指定目录(基本操作) tar -zxf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt 进入到/opt文件夹（刚刚安装flume的文件夹），改名 mv apache-flume-1.6.0-cdh5.14.0-bin/ flume160514 进入/flume160514/conf 复制flume-env.sh.template cp flume-env.sh.template flume-env.sh 修改
本地idea连接虚拟机的flume
06-10
连接本地idea和虚拟机的flume可以通过以下步骤完成： 1. 在虚拟机上安装并配置好flume，确保flume已经正常运行。 2. 在虚拟机中查看flume的配置文件，找到flume的监听端口号。 3. 在本地idea中创建一个新的flume配置文件，配置文件中需要指定flume的监听端口号和数据源等信息。 4. 在idea中启动flume，可以使用flume-ng命令来启动。 5. 测试连接是否成功，可以通过发送一些数据到虚拟机的flume来测试连接是否正常。 需要注意的是，确保本地和虚拟机的网络连接正常，以便能够正常连接到虚拟机的flume。同时，配置文件中的参数也需要正确设置，才能保证连接的正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值