使用docker-19.03.14搭建hadoop-2.9.2完全分布式集群-之二-部署和运行.md

于 2020-12-08 15:34:49 发布
阅读量312 收藏
点赞数
分类专栏： 开船 文章标签： hadoop spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szlcy/article/details/110874499
版权

安装 Docker

# 安装 yum-utils
[root@do-hadoop ~]# yum install -y yum-utils

# 添加Docker CE的yum源
[root@do-hadoop ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
[root@do-hadoop ~]# yum makecache fast

# 看一下仓库里的最新版本
[root@do-hadoop ~]# yum list docker-ce
[root@do-hadoop ~]# yum -y install docker-ce

[root@do-hadoop ~]# systemctl start docker
[root@do-hadoop ~]# systemctl enable docker

创建 hadoop 容器

hadoop 及其组件，放在 docker 中运行，所以先要创建一个基于 centos 镜像的 hadoop 容器。
这个hadoop 容器，最后会生成镜像，最终成为所有 hadoop 节点的模板。

# 搜索镜像
[root@do-hadoop ~]# docker search centos
NAME                               DESCRIPTION                                     STARS               OFFICIAL            AUTOMATED
centos                             The official build of CentOS.                   6300                [OK]
## 在搜索结果列表中OFFICIAL列中有[OK]的表示是官方的镜像。我们看到第一个就是官方的。

# 拉取
[root@do-hadoop ~]# docker pull centos

# 查看镜像
[root@do-hadoop ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              latest              0d120b6ccaa8        3 months ago        215MB

docker network create --driver bridge --subnet 192.168.1.0/16 --gateway 192.168.1.0 mynet
解析：
--driver bridge 表示使用桥接模式
--subnet 192.168.1.0/16 表示子网ip 可以分配 192.168.1.2 到 192.168.255.255
--gateway 192.168.1.0 表示网关
mynet 表示网络名


# 创建 docker 网络
[root@do-hadoop ~]# docker network create --driver bridge --subnet=172.18.0.0/16 --gateway 172.18.0.1 hadoop_nw
# --driver bridge 表示使用桥接模式
# --subnet 172.18.0.0/16 表示子网ip 可以分配 172.18.0.2 到 172.18.255.255
# --gateway 172.18.0.1 表示网关

[root@do-hadoop ~]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
a30056cd8ca2        bridge              bridge              local
c77cddcd1cd9        hadoop_nw           bridge              local
32aadb56edcd        host                host                local
72550a0f5547        none                null                local
[root@do-hadoop ~]# docker network inspect hadoop_nw
...
            "Config": [
                {
                    "Subnet": "172.18.0.0/16",
                    "Gateway": "172.18.0.1"
                }
            ]
...
## 记住上面的网络掩码，本例是 172.18.0.0/16, 这表明了网络的ip 地址范围


# 创建并运行容器
[root@do-hadoop ~]# docker run -it -h hadoop --name hadoop centos
## 说明：
## run     表示创建一个容器并运行。
## -it     表示容器运行后直接进入容器内部的命令行。此时就可以像操作虚拟机一样操作这个容器了。
## -h      表示容器的主机名hostname，和虚拟机的hostname一样。如果不指定，Docker 会用 CONTAINER ID 来作为 hostname。
## --name  表示容器的名称。这个前面已经提到了，如果自己不指定，Docker 会自动分配一个名称。不过还是自己指定的更有意义。
## 其中主机名和容器名一不一样都行，我这里是给了一样的，都是 hadoop。
## 最后一个参数centos是镜像名称，表示该容器用哪个镜像创建。
## 这个过程类似于用ISO文件装系统。

# 退出并停止当前容器运行
[root@do-hadoop ~]# exit

运行容器

# 查看本机的所有容器(正在进行或停止运行)
[root@do-hadoop ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS                     PORTS               NAMES
5e1930be0f53        centos              "/bin/bash"         5 minutes ago       Exited (0) 3 seconds ago                       hadoop

# 启动并进入刚才创建的容器
[root@do-hadoop ~]# docker start -i hadoop

注意，以下内容在 hadoop 容器内执行

# 修改时区
[root@hadoop /]# rm -f /etc/localtime
[root@hadoop /]# ln -s /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
[root@hadoop /]# echo Asia/Shanghai > /etc/timezone

# 安装语言包
[root@hadoop /]# yum -y install glibc-langpack-en
[root@hadoop /]# echo "export LC_ALL=en_US.UTF-8" >> /etc/profile
[root@hadoop /]# echo "export LC_CTYPE=en_US.UTF-8" >> /etc/profile
[root@hadoop /]# source /etc/profile
## 这个操作完，可能要退出 hadoop 窗口，再进入才生效

# 安装 SSH
[root@hadoop /]# yum -y install openssh-server.x86_64 openssh-clients.x86_64


# 生成三个主机的 key 文件
## 均不需做键盘输入内容，一路回车即可
[root@hadoop /]# ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
[root@hadoop /]# ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key
[root@hadoop /]# ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key

# 运行 SSH
[root@hadoop /]# /usr/sbin/sshd

# 设置 root 密码
[root@hadoop /]# yum -y install passwd cracklib-dicts   
[root@hadoop /]# passwd
Changing password for user root.
New password: 1qt5!QT%

# 生成用户的 key 文件
[root@hadoop /]# ssh-keygen

# 设置ssh免密登录到本机
[root@hadoop /]# vi /etc/pam.d/sshd
## 注释下一行
#account    required     pam_nologin.so
[root@hadoop /]# ssh-copy-id localhost
[root@hadoop /]# ssh localhost
[root@hadoop /]# exit

# 运行hadoop需要which命令，同样容器没有自带，需要我们安装。
[root@hadoop /]# yum -y install which

# 退出当前容器并保持其继续运行
# 快捷键 Ctrl+p+q

复制文件

注意，以下内容在宿主机执行

[root@do-hadoop ~]# docker cp /root/jdk-8u251-linux-x64.tar.gz hadoop:/root/
[root@do-hadoop ~]# docker cp /root/apache-hive-2.3.7-bin.tar.gz hadoop:/root/
[root@do-hadoop ~]# docker cp /root/hadoop-2.9.2.tar.gz hadoop:/root/
[root@do-hadoop ~]# docker cp /root/scala-2.11.8.tgz hadoop:/root/
[root@do-hadoop ~]# docker cp /root/spark-2.2.0-bin-hadoop2.7.tgz hadoop:/root/
[root@do-hadoop ~]# docker cp /root/mysql-connector-java-5.1.49.tar.gz hadoop:/root/

# 进入容器
[root@do-hadoop ~]# docker attach hadoop

注意，以下内容在 hadoop 容器内执行

[root@hadoop /]# cd /root
[root@hadoop ~]# tar xzf jdk-8u251-linux-x64.tar.gz
[root@hadoop ~]# tar xzf hadoop-2.9.2.tar.gz
[root@hadoop ~]# tar xzf apache-hive-2.3.7-bin.tar.gz
[root@hadoop ~]# tar xzf scala-2.11.8.tgz
[root@hadoop ~]# tar xzf spark-2.2.0-bin-hadoop2.7.tgz
[root@hadoop ~]# tar xzf mysql-connector-java-5.1.49.tar.gz

[root@hadoop ~]# mkdir /root/hadoop-2.9.2/data
[root@hadoop ~]# mv apache-hive-2.3.7-bin hive-2.3.7
[root@hadoop ~]# cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar ./hive-2.3.7/lib/
[root@hadoop ~]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0


[root@hadoop ~]# vi /etc/profile.d/run.sh
export JAVA_HOME=/root/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_HOME=/root/hive-2.3.7
export PATH=$PATH:$HIVE_HOME/bin
/usr/sbin/sshd

[root@hadoop ~]# source /etc/profile

hadoop-2.9.2
apache-hive-2.3.7-bin
scala-2.11.8
spark-2.2.0-bin-hadoop2.7
mysql-connector-java-5.1.49

配置 hadoop

注意，以下内容在 hadoop 容器内执行

[root@hadoop ~]# cd /root/hadoop-2.9.2/etc/hadoop
[root@hadoop hadoop]# vi hadoop-env.sh
## 修改如下键值
export JAVA_HOME=/root/jdk1.8.0_251

[root@hadoop hadoop]# vi core-site.xml
# 增加如下内容
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop11:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop-2.9.2/data</value>
    </property>
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>

[root@hadoop hadoop]# vi hdfs-site.xml
# 增加如下内容
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop11:50090</value>
    </property>

[root@hadoop hadoop]# vi mapred-site.xml
# 增加如下内容
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop11:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop11:19888</value>
    </property>
</configuration>


[root@hadoop hadoop]# vi yarn-site.xml
# 增加如下内容
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop11</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
    </property>	
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>

</configuration>

[root@hadoop hadoop]# vi slaves
hadoop11
hadoop12
hadoop13

配置 hive

注意，以下内容在 hadoop 容器内执行

[root@hadoop hadoop]# cd /root/hive-2.3.7/conf/
[root@hadoop hadoop]# cp hive-default.xml.template hive-site.xml
[root@hadoop hadoop]# vi hive-site.xml
# 最前面添加
  <property>
    <name>system:java.io.tmpdir</name>
    <value>/tmp/hive/java</value>
  </property>
  <property>
    <name>system:user.name</name>
    <value>${user.name}</value>
  </property>
# 逐项修改如下键值
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>1qt5!QT%</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://172.18.0.1:3306/hive?useSSL=false&amp;allowPublicKeyRetrieval=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
	
[root@hadoop conf]# cp hive-env.sh.template hive-env.sh
[root@hadoop conf]# vi hive-env.sh
export HADOOP_HOME=/root/hadoop-2.9.2
export HIVE_CONF_DIR=/root/hive-2.3.7/conf
export HIVE_AUX_JARS_PATH=/root/hive-2.3.7/lib

配置 spark

注意，以下内容在 hadoop 容器内执行

[root@hadoop ~]# cd /root/spark-2.2.0/conf
[root@hadoop ~]# cp spark-env.sh.template spark-env.sh
[root@hadoop ~]# vi spark-env.sh
# 添加如下内容
# 配置各种软件的HOME，一般来说不配置也可以，但是可能会出现问题，还是配上
export JAVA_HOME=/root/jdk1.8.0_251
export HADOOP_HOME=/root/hadoop-2.9.2
export HADOOP_CONF_DIR=/root/hadoop-2.9.2/etc/hadoop
export SCALA_HOME=/root/scala-2.11.8
export SPARK_HOME=/root/spark-2.2.0
# 设置Master的IP
export SPARK_MASTER_IP=172.18.0.11
# 设置Master的主机名
export SPARK_MASTER_HOST=hadoop11
# 设置本节点的IP
export SPARK_LOCAL_IP=172.18.0.11
# 每一个Worker最多可以使用的内存
export SPARK_WORKER_MEMORY=1g
# 每一个Worker最多可以使用的cpu core的个数
export SPARK_WORKER_CORES=1
# 提交Application的端口，默认就是这个，万一要改呢，改这里
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_DIST_CLASSPATH=$(/root/hadoop-2.9.2/bin/hadoop classpath)
## 注意，上面 SPARK_LOCAL_IP 这个配置项的值，等会生成各节点容器后要改成各自节点的ip地址

[root@hadoop ~]# cp slaves.template slaves
[root@hadoop ~]# vi slaves
hadoop11
hadoop12
hadoop13

生成模板镜像

注意，以下内容在宿主机执行

将上面的 hadoop 容器打包成镜像

[root@do-hadoop ~]# docker commit -a "luchunyu" -m "Hadoop在centos上搭建的分布模式" hadoop hadoop-centos:v1
sha256:8e9f85b18c9392ec4e2561b72e0ba225f5a91ab9a8d0cb2b45278e6ec258536d
[root@do-hadoop ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
hadoop-centos       v1                  8e9f85b18c93        53 seconds ago      3.11GB
centos              latest              0d120b6ccaa8        3 months ago        215MB

-a 表示作者。
-m 表示对该镜像的说明。
pseudo-distributed 被打包容器的名称
hadoop-centos:v1 生成镜像的名称及版本
需要知道的是，因为这个被打包的容器是通过centos镜像创建的，所以由该容器打包成的新镜像也包含了centos镜像。

用新生成的镜像创建 4 个容器


[root@do-hadoop ~]# docker run -itd -h hadoop11 --name hadoop11 --network=hadoop_nw --ip 172.18.0.11 -p 50070:50070 -p 8088:8088 -p 19888:19888 -p 10000:10000 hadoop-centos:v1
[root@do-hadoop ~]# docker run -itd -h hadoop12 --name hadoop12 --network=hadoop_nw --ip 172.18.0.12 hadoop-centos:v1
[root@do-hadoop ~]# docker run -itd -h hadoop13 --name hadoop13 --network=hadoop_nw --ip 172.18.0.13 hadoop-centos:v1
[root@do-hadoop ~]# docker run -itd -h client --name client --network=hadoop_nw --ip 172.18.0.10 hadoop-centos:v1

[root@do-hadoop ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS                    PORTS                                                                                                  NAMES
f3a4357b7b4a        hadoop-centos:v1    "/bin/bash"         4 seconds ago       Up 3 seconds                                                                                                                     client
8bea9c87b37d        hadoop-centos:v1    "/bin/bash"         17 seconds ago      Up 16 seconds                                                                                                                    hadoop13
e0b2121b5ccc        hadoop-centos:v1    "/bin/bash"         22 seconds ago      Up 21 seconds                                                                                                                    hadoop12
5f5ffa81a6fd        hadoop-centos:v1    "/bin/bash"         32 seconds ago      Up 30 seconds             0.0.0.0:8088->8088/tcp, 0.0.0.0:10000->10000/tcp, 0.0.0.0:19888->19888/tcp, 0.0.0.0:50070->50070/tcp   hadoop11
5e1930be0f53        centos              "/bin/bash"         5 days ago          Exited (130) 2 days ago                                                                                                          hadoop
[root@do-hadoop ~]#

启动 hadoop

在 client 节点执行
配置节点间SSH免密登录

[root@do-hadoop ~]# docker attach client
# 这一步貌似可以不执行，因为在制作 hadoop 容器时，已经生成了 key 文件，并实现了免密登录，
# 所以现在复制的三台，key都是一样的，就可以自动登录了。
[root@client /]# ssh-copy-id hadoop11
[root@client /]# ssh-copy-id hadoop12
[root@client /]# ssh-copy-id hadoop13

# 从 client ssh 登录到 hadoop11，然后再分别执行一下到 hadoop11,hadoop12,hadoop13服务器的 ssh 登录命令
# 以便在 hadoop11 上生成 known_hosts 清单

启动

[root@client /]# ssh hadoop11 "hdfs namenode -format"
[root@client /]# ssh hadoop11 "start-dfs.sh"

[root@client /]# ssh hadoop11 "start-yarn.sh"
[root@client /]# ssh hadoop11 "mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver"

在浏览器中查看集群信息

HDFS http://192.168.109.128:50070/
YARN http://192.168.109.128:8088/
jobhistory http://192.168.109.128:19888/

运行wordcount示例程序

# 准备数据
[root@client /]# mkdir /root/input
[root@client /]# ls --help > /root/input/ls.txt
[root@client /]# df --help > /root/input/df.txt
[root@client /]# fdisk --help > /root/input/fdisk.txt
[root@client /]# hadoop fs -put /root/input /

# 运行
[root@client /]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /input /output

[root@client /]# hadoop fs -cat /output/*

启动 hive

在 client 节点执行

[root@client /]# rm -f /root/hive-2.3.7/conf/hive-site.xml
[root@client /]# vi /root/hive-2.3.7/conf/hive-site.xml
# 添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop11:9083</value>
</property>
</configuration>

# 初始化
[root@client /]# ssh hadoop11 "schematool -dbType mysql -initSchema --verbose"
# 启动 hive server 端
[root@client /]# ssh hadoop11 "nohup hive --service metastore 1>/dev/null 2>&1 &"
# 启动 hiveserver2
[root@client /]# ssh hadoop11 "nohup hiveserver2 1>/dev/null 2>&1 &"

# 测试一下
[root@client /]# beeline -u 'jdbc:hive2://hadoop11:10000' -n root

启动 spark

在 client 节点执行


# 修改所有节点 spark-env.sh 中的 SPARK_LOCAL_IP 为对应的 IP
[root@client /]# vi /root/spark-2.2.0/conf/spark-env.sh
[root@client /]# ssh hadoop11
[root@client /]# ssh hadoop12
[root@client /]# ssh hadoop13
[root@client /]# ssh client

# 启动 spark 集群
[root@client /]# ssh hadoop11 "/root/spark-2.2.0/sbin/start-all.sh"
# 停止 spark 集群
[root@client /]# ssh hadoop11 "/root/spark-2.2.0/sbin/stop-all.sh"

# 测试一下
[root@client /]# /root/spark-2.2.0/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 1G --executor-memory 1G --executor-cores 1 /root/spark-2.2.0/examples/jars/spark-examples_2.11-2.2.0.jar 40
szlcy
关注
专栏目录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值