部署Flume组件

最新推荐文章于 2024-04-29 11:02:15 发布
最新推荐文章于 2024-04-29 11:02:15 发布
阅读量299 收藏 1
点赞数
分类专栏： Flume Hadoop 文章标签： hadoop flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengshicheng1992/article/details/118934836
版权

部署Flume组件

此文以Hadoop 3.2.2、Flume 1.9.0版本为例！

如未指定，下述命令在所有节点执行！

一、系统资源及组件规划

节点名称系统名称CPU/内存网卡磁盘IP地址OS
NameNodenamenode2C/4Gens33128G192.168.0.11CentOS7
Secondary NameNodesecondarynamenode2C/4Gens33128G192.168.0.12CentOS7
ResourceManagerresourcemanager2C/4Gens33128G192.168.0.13CentOS7
Worker1worker12C/4Gens33128G192.168.0.21CentOS7
Worker2worker22C/4Gens33128G192.168.0.22CentOS7
Worker3worker32C/4Gens33128G192.168.0.23CentOS7

Flume组件部署在Worker节点上

二、搭建Hadoop集群

Hadoop完全分布式集群搭建过程省略，参考如下：

https://blog.csdn.net/mengshicheng1992/article/details/116757775

三、部署Flume组件

1、安装Flume组件

下载Flume文件：

参考地址：http://flume.apache.org/download.html

在Worker节点（数据采集节点）上解压Flume安装文件：

tar -xf /root/apache-flume-1.9.0-bin.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/apache-flume-1.9.0-bin/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/apache-flume-1.9.0-bin/bin/

在这里插入图片描述

2、配置Flume采集目录到HDFS

在Worker节点（数据采集节点）上创建flume-env.sh文件：

cat > /usr/local/apache-flume-1.9.0-bin/conf/flume-env.sh << EOF
export JAVA_HOME=/usr/local/jdk1.8.0_291/
EOF

在这里插入图片描述

在Worker节点（数据采集节点）上同步guava文件，解决Flume版本过低问题：

cp /usr/local/hadoop-3.2.2/share/hadoop/common/lib/guava-27.0-jre.jar /usr/local/apache-flume-1.9.0-bin/lib/
rm -rf /usr/local/apache-flume-1.9.0-bin/lib/guava-11.0.2.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5lPlgDvB-1626763108266)(media/45748b7f8c1f2f1634cd1cd1b5a45101.png)]

在Worker节点（数据采集节点）上创建Flume配置文件：

cat > /usr/local/apache-flume-1.9.0-bin/conf/dir-hdfs.conf << EOF
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

ag1.sources.source1.type = spooldir
ag1.sources.source1.spoolDir = /file
ag1.sources.source1.fileHeader = true
ag1.sources.source1.deserializer.maxLineLength = 5120

ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path = hdfs://namenode:9000/file/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = file
ag1.sinks.sink1.hdfs.fileSuffix = .file
ag1.sinks.sink1.hdfs.batchSize = 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeFormat = Text
ag1.sinks.sink1.hdfs.rollSize = 512000
ag1.sinks.sink1.hdfs.rollCount = 1000000
ag1.sinks.sink1.hdfs.rollInterval = 60
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundValue = 10
ag1.sinks.sink1.hdfs.roundUnit = minute
ag1.sinks.sink1.hdfs.useLocalTimeStamp = true

ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity = 500000
ag1.channels.channel1.transactionCapacity = 600

ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1
EOF

在这里插入图片描述

hdfs.path需与core-site.xml中fs.defaultFS参数保持一致

在Worker节点（数据采集节点）上拷贝Hadoop配置文件至Flume目录：

cp /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml /usr/local/apache-flume-1.9.0-bin/conf/
cp /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml /usr/local/apache-flume-1.9.0-bin/conf/

在这里插入图片描述

在Worker节点（数据采集节点）上后台运行Flume

nohup flume-ng agent -c /usr/local/apache-flume-1.9.0-bin/conf/ -f /usr/local/apache-flume-1.9.0-bin/conf/dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console &

在这里插入图片描述

3、演示Flume采集目录到HDFS

在Worker节点（数据采集节点）上/file目录下创建文件file1：

mkdir /file
touch /file/file1

在这里插入图片描述

验证Flume数据采集：

在这里插入图片描述

在这里插入图片描述

4、配置Flume采集文件到HDFS

在Worker节点（数据采集节点）上安装Web服务，并启动：

略

在Worker节点（数据采集节点）上创建flume-env.sh文件：

cat > /usr/local/apache-flume-1.9.0-bin/conf/flume-env.sh << EOF
export JAVA_HOME=/usr/local/jdk1.8.0_291/
EOF

在这里插入图片描述

在Worker节点（数据采集节点）上同步guava文件，解决Flume版本过低问题：

cp /usr/local/hadoop-3.2.2/share/hadoop/common/lib/guava-27.0-jre.jar /usr/local/apache-flume-1.9.0-bin/lib/
rm -rf /usr/local/apache-flume-1.9.0-bin/lib/guava-11.0.2.jar

在这里插入图片描述

在Worker节点（数据采集节点）上创建Flume配置文件：

cat > /usr/local/apache-flume-1.9.0-bin/conf/tail-hdfs.conf << EOF
ag2.sources = source2
ag2.sinks = sink2
ag2.channels = channel2

ag2.sources.source2.type = exec
ag1.sources.source1.fileHeader = true
ag2.sources.source2.command = tail -F /var/log/httpd/access_log

ag2.sinks.sink2.type = hdfs
ag2.sinks.sink2.hdfs.path = hdfs://namenode:9000/access_log/%y-%m-%d/%H-%M
ag2.sinks.sink2.hdfs.filePrefix = log
ag2.sinks.sink2.hdfs.fileSuffix = .log
ag2.sinks.sink2.hdfs.batchSize = 100
ag2.sinks.sink2.hdfs.fileType = DataStream
ag2.sinks.sink2.hdfs.writeFormat = Text
ag2.sinks.sink2.hdfs.rollSize = 512000
ag2.sinks.sink2.hdfs.rollCount = 1000000
ag2.sinks.sink2.hdfs.rollInterval = 60
ag2.sinks.sink2.hdfs.round = true
ag2.sinks.sink2.hdfs.roundValue = 10
ag2.sinks.sink2.hdfs.roundUnit = minute
ag2.sinks.sink2.hdfs.useLocalTimeStamp = true

ag2.channels.channel2.type = memory
ag2.channels.channel2.capacity = 500000
ag2.channels.channel2.transactionCapacity = 600

ag2.sources.source2.channels = channel2
ag2.sinks.sink2.channel = channel2
EOF

在这里插入图片描述

hdfs.path需与core-site.xml中fs.defaultFS参数保持一致

在Worker节点（数据采集节点）上拷贝Hadoop配置文件至Flume目录：

cp /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml /usr/local/apache-flume-1.9.0-bin/conf/
cp /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml /usr/local/apache-flume-1.9.0-bin/conf/

在这里插入图片描述

在Worker节点（数据采集节点）上后台运行Flume

nohup flume-ng agent -c /usr/local/apache-flume-1.9.0-bin/conf/ -f /usr/local/apache-flume-1.9.0-bin/conf/tail-hdfs.conf -n ag2 -Dflume.root.logger=INFO,console &

在这里插入图片描述

5、演示Flume采集文件到HDFS

访问Worker节点Web服务，刷新日志文件

在这里插入图片描述

mengshicheng1992
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume组件部署.doc
05-27
本文档主要是flume组件部署。欢迎大家关注数据科学，本人不断为大家提供数据科学相关知识，如有疑问请随时沟通不断优化
flume1.8兼容hadoop3 bug
qq_41018861的博客
05-05 171
下的guava-xx.jar，将其升级到两者中的较高版本。jar包这里笔者就不在给出了，大家可以直接去官网下载。下的guava-xx.jar和hadoop 下。
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1327
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
Hadoop环境配置（12）--flume环境配置
m0_56841551的博客
12-12 945
1、将下载的flume压缩包拉到/opt/software/文件夹下 安装包版本：apache-flume-1.9.0-bin.tar.gz 2、将安装包解压到/opt/module/文件夹中，命令： cd /opt/software/ tar -zxvf 安装包名 -C /opt/module/ 3、修改系统环境变量，命令： vi /etc/profile 在编辑面板中添加如下代码： export FLUME_HOME=/opt/module/apache-flume-1.9.0.
Hadoop安装和配置
饭桶一生奋斗
11-17 544
一、安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：192.168.241.128 主机名：admin 安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 1，下
flume与hadoop jar包冲突
MJK祺的博客
05-14 850
(flume的版本是guava-11.0.2.jar，hadoop的是guava-27.0-jre.jar)(hadoop的guava包在$HADOOP_HOME/share/hadoop/common/lib/)：将hadoop的guava包替换掉flume的低版本包即可。flume和hadoop的guava包冲突。然后再运行就不会报错了。
Hadoop生态系统之Flume
sunnygod的博客
01-04 489
文章目录Flume概念Flume版本更迭Flume结构（核心为Agent）完整工作流程运行机制核心（event）组件剖析sourcechannelsinkFlume的特点1:可靠性2:可恢复性Flume使用场景5.1、多个agent顺序连接5.2、扇入流5.3、多级流（扇出流）5.4、load balance功能 Flume概念 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系...
hadoop3.2.0，kafka_2.12-2.4.0 flume采集方案demo
Mr.Zheng的博客
10-27 494
效果 根据消息中的事件时间来分目录，按照年月日分！ 前言 公司有个数据采集需求，因为历史原因，我们公司使用的hadoop和kafka版本比较高，所以我采用了1.9.0的flume进行开发，flume内存调优这里就不讲了，有兴趣的自己去搜下。第一次使用肯定需要调优。 环境准备 java 1.8 flume 1.9.0 kafka_2.12-2.4.0 hadoop3.2.0 flume的lib中需要将hadoop的一些依赖放进去，在hadoop3.2.0中慢慢去找 hadoop-3.2.0/share/ha
hadoop3.1.x——flume安装及测试
wake_up_42的博客
10-10 703
安装flume及监控端口测试
Flume1.8安装部署
04-23
Flume1.8安装部署，包含目录结构为1、下载地址，安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述
hadoop环境部署全套组件，下载后直接可用（虚拟机全套）
12-29
Hadoop部署平台全套组件，包含hdfs，hive，hbase，sqoop，mysql，flume等，包含大数据处理的全部组件功能！ 现成虚拟机，安装好的镜像，下载直接可运行！！！
数据采集之Flume.xmind
09-11
参照下图可以看得出Agent就是Flume的一个部署实例， 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink，Source是指数据的来源和方式，Channel是一个数据的缓冲池，Sink定义了数据输出的方式和目的地（这...
Flume1.5.0入门：安装、部署、及flume的案例
02-25
本文来自于about云开发,文章主要从安装、部署、及flume的案例，运用代码进行详细介绍，希望对大家有帮助。　flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称...
Hadoop之路---伪分布式环境搭建
kuyecsl的博客
04-26 522
hadoop更适合在liunx环境下运行，会节省后期很多麻烦，而用虚拟器就太占主机内存了，因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 （千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!
Hadoop概述
最新发布
早拾碗吧的博客
04-29 1058
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发了 HDFS（分布式文件系统），并根据 BigTable 原理开发了 HBase 数据存储系统。Hadoop 和 Google 内部使用的分布式计算系统原理相同，其开源特性使其成为分布式计算系统的事实上的国际标准。
[最新]CentOS7设置开机自启动Hadoop集群
NBA首席形象大使坤坤
04-26 1918
安装好Hadoop后我们可以使用开机自启动的方式，节约敲命令的时间。注意是centOS7版本!!!和centOS6版本区别非常大!!! 1、切换到系统目录 [root@master ~]# cd /etc/systemd [root@master systemd]# ll total 32 -rw-r--r-- 1 root root 720 Jun 30 23:11 bootchart.conf -rw-r--r-- 1 root root 615 Jun 30 23:11 coredump
【Hadoop】-Hive初体验[13]
weixin_63106307的博客
04-23 474
INSERT INTO test values(1,'海员','男'),(2,'林芝零','女'),(3,'雷恩斯','男');可以执行：bin/hive，进入到Hive Shell环境中，可以直接执行SQL语句。打开YARN的WEB UI页面查看任务情况：http://node1:8088。Hive的数据存储在HDFS的：/user/hive/warehouse中。预先确保已经完成部署Hive，并启动了Metastore服务。
flume配置
yujinlong2002的博客
04-26 253
删除Flume安装目录的lib目录下的guava-11.0.2.jar包，之后查看/etc/profile文件中的Hadoop安装目录，将Hadoop安装目录的/share/hadoop/common/lib/目录中的guava-27.0-jre.jar复制至Flume安装目录的lib目录。进入Flume安装目录的conf目录，将flume-env.sh.template重命名为flume-env.sh，Java安装目录添加至flume-env.sh文件末尾。个人笔记：仅供参考如有错误望指正。
Flume 搭建和操作使用的详细教程
zp8126的专栏
04-20 1081
* 下载安装包：apache-flume-1.11.0-bin .tar.gz * 上传至 linux 的 /opt/ 目录下 * 解压至 /opt/apps（可以自定义目录） * 修改简短名称（方便配置） * 配置环境变量（方便调用）
flume分布式部署
08-12
Flume的分布式部署可以通过以下步骤完成： 1. 规划拓扑结构：确定要收集和传输数据的源和目的地。根据数据流的特性和需求，设计合适的拓扑结构，包括代理（agent）、通道（channel）和目的地（sink）等组件。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值