2021-06-05大数据实训-2

步骤

步骤：
 - flume安装与配置
 - sqoop安装与配置

flume安装与配置

flume是用来做数据采集工作的，将采集到的数据上传到hdfs
运行的核心是agent，包含三个核心组件：source，channel，sink
数据的来源是可以不同的，使用不同的source
channel是用来维系source和sink的
采集到的数据可以存放在不同的地方，使用不同的sink

解压与更名

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local/
cd /usr/local/
mv apache-flume-1.8.0-bin/ flume

配置环境变量

vi /etc/profile
..................
export FLUME_HOME=/usr/local/flume
export PATH=$FLUME_HOME/bin:$PATH
..................
source /etc/profile

验证环境变量

flume-ng version

配置文件

 cd flume/conf/
 cp flume-env.sh.template flume-env.sh
 vi flume-env.sh
.................
export JAVA_HOME=/usr/local/jdk
.................

sqoop安装与配置

sqoop主要采集的是关系型数据库类的数据，可以对跨平台的数据进行整合
import 从关系型数据库到hadoop
export 从Hadoop到关系型数据库

解压更名

tar -zxvf /root/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop1.4.7

配置环境变量

vi /etc/profile

export SQOOP_HOME=/usr/local/sqoop1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

配置文件

cd /usr/local/sqoop1.4.7
mv ./conf/sqoop-env-template.sh ./conf/sqoop-env.sh
vi ./conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive

mysql 驱动

cp /root/soft/mysql-connector-java-5.1.18.jar ./lib/

验证安装

sqoop version