在虚拟机或Docker中搭建大数据伪分布式集群（五）：添加kafka和Sqoop

系列文章：

在虚拟机或Docker中搭建大数据伪分布式集群系列（一）：hadoop基础功能——hdfs 与 yarn

在虚拟机或Docker中搭建大数据伪分布式集群（二）：集群添加zookeeper与HBase

在虚拟机或Docker中搭建大数据伪分布式集群（三）：添加Hive

在虚拟机或Docker中搭建大数据伪分布式集群（四）：添加 Spark

---

Kafka安装

参考官网：Apache Kafka

上传解压安装

cd /opt/kafka/
tar -zxvf kafka_2.12-2.8.0.tgz

vi  /etc/profile
# 在文件尾部添加配置
export KAFKA_HOME=/opt/kafka_2.12-2.8.0
export PATH=$KAFKA_HOME/bin:$PATH

# 退出保存，激活配置
source /etc/profile

修改配置

server.properties

cd $KAFKA_HOME/config/
vi server.properties

#存放kafka broker节点ID，不同节点这个要唯一
broker.id=0

#主要配置
listeners=PLAINTEXT://bigdata001:9092
advertised.listeners=PLAINTEXT://bigdata001:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=bigdata001:2181,bigdata002:2181,bigdata003:2181

使用同样的方式在配置其他节点

启动命令

# 每个节点上执行
$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

停止命令

# 每个节点上执行
$KAFKA_HOME/bin/kafka-server-stop.sh

可以写个kafka群起脚本

#!/bin/bash

param=$1

if [ $param == "start" ]
then 
	for host in `cat /opt/shells/nodes`
  do
    echo "host: ${host} kafkaServer: starting…"
    ssh $host " source /etc/profile; $KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties "
  done
fi

if [ $param == "stop" ]
then 
	for host in `cat /opt/shells/nodes`
  do
    echo "host: ${host} kafkaServer: stoping…"
    ssh $host " source /etc/profile; $KAFKA_HOME/bin/kafka-server-stop.sh stop"
  done
fi

---

接下来搭建 sqoop，选择版本 sqoop1.4.7（可兼容hadoop2.6以上所有版本）

sqoop安装与配置

1、Hive 安装

软件：

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz （可直接从国内的清华大学等镜像网站下载，地址：清华大学开源软件镜像站 | Tsinghua Open Source Mirror）

mysql-connector-java-8.0.22.jar （可从maven中央仓库https://mvnrepository.com/或阿里仓库仓库服务下载，最好是8.x版本）

上传解压改名

# 虚拟机使用rz，docker 使用docker cp

docker cp /Volumes/Linux/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz hadoop-master:/opt/

docker cp /Volumes/Linux/mysql-connector-java-8.0.22.jar hadoop-master:/opt/

进入虚拟机或容器后，解压改名

tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

配置环境变量

vi  /etc/profile

在文件尾部添加配置

export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

退出保存，再使配置生效​​​​​​​

source /etc/profile

# 有版本显现，安装成功！
sqoop version

注意1：需要把mysql的驱动包copy到hive的安装目录下的 $SQOOP_HOME/lib 中

mv mysql-connector-java-8.0.22.jar $SQOOP_HOME/lib/

注意：安装启动可能会报错，说是Stringutils没找到，则同样需要下载（从maven中找）并导入commons-lang-2.6.jar包至 $SQOOP_HOME/lib/ 下即可

2、修改配置

进入安装目录的 conf/ 目录下，拷贝配置样本并进行修改

修改sqoop-env.sh

cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh 

增加如下内容

export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive

3、测试运行

bin/sqoop list-tables --connect jdbc:mysql://10.9.1.139:3306/cluster?serverTimezone=UTC --username root --password a