电商数仓项目(八) Flume(1) 安装和配置

---

本节讲解Flume的安装与配置。

一、集群规划

node01	node02	node03
Flume(生产者)	Flume(生产者)	Flume(消费者)

二、下载与设置

# 1. 下载flume
[jack@node01 u02]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
[jack@node01 u02]$ tar -zxf apache-flume-1.9.0-bin.tar.gz -C /u01
[jack@node01 u02]$ cd /u01
[jack@node01 u01]$ mv apache-flume-1.9.0-bin flume-1.9.0

# 2. 配置环境变量，所有服务器都配置
[jack@node01 u01]$ sudo vi /etc/profile
export FLUME_HOME=/u01/flume-1.9.0
export PATH=$PATH:$FLUME_HOME/bin
[jack@node01 u01]$ source /etc/profile

# 3. 创建hadoop的文件目录，供后续数据仓库使用
[jack@node01 u01]$ hdfs dfs -mkdir /gmall
[jack@node01 u01]$ hdfs dfs -mkdir /gmall/log
[jack@node01 u01]$ hdfs dfs -mkdir /gmall/log/topicStart
[jack@node01 u01]$ hdfs dfs -mkdir /gmall/log/topicEvent

# 4. 创建目录
[jack@node01 u01]$ cd flume-1.9.0
[jack@node01 flume-1.9.0]$ mkdir -p checkpoint data position logs
[jack@node01 flume-1.9.0]$ mkdir -p checkpoint/behavior1 checkpoint/behavior2 data/behavior1 data/behavior2

# 5. 修改log4j.properties
[jack@node01 conf]$
[jack@node01 conf]$ vi log4j.properties
flume.log.dir=/u01/servers/flume-1.9.0/logs

# 6. 配置flume-env.sh
[jack@node01 conf]$ mv flume-env.sh.template flume-env.sh
[jack@node01 conf]$ vi flume-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_101

# 7. 配置flume-ng，将内存改为2000M
[jack@node01 conf]$ cd /u01/flume-1.9.0/bin
[jack@node01 bin]$ vi flume-ng
JAVA_OPTS="-Xmx2000m"

三、Jar替换和删除

1. 替换lib目录下的guava-11.0.2.jar
   用$HADOOP_HOME/share/hadoop/common/lib目录下的guava-27.0-jre.jar替换
   $FLUME_HOME/lib下的guava-11.0.2.jar文件。不然，使用时会报错

2. 删除lib目录下的slf4j-log4j12-1.7.25.jar
   删除$FLUME_HOME/lib下的slf4j-log4j12-1.7.25.jar文件

---

电商数仓项目(一) 系统规划和配置
电商数仓项目(二) Maven 安装和hadoop-lzo编译
电商数仓项目(三) hadoop3.2.2 安装与配置
电商数仓项目(四) 模拟电商日志数据开发
电商数仓项目(五) azkaban安装、配置和使用
电商数仓项目(六) zookeeper安装和配置
电商数仓项目(七) kafka 安装、配置和简单操作
电商数仓项目(八) Flume(1) 安装和配置
电商数仓项目(八) Flume(2) 拦截器开发
电商数仓项目(八) Flume(3) 生产者和消费者配置
电商数仓项目(九) Sqoop安装与配置