使用Docker快速部署hadoop测试集群

最新推荐文章于 2024-08-05 21:41:10 发布
最新推荐文章于 2024-08-05 21:41:10 发布
阅读量495 收藏 2
点赞数
分类专栏： hadoop Docker 文章标签： hadoop docker 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rongxiang20054209/article/details/117047028
版权

目录

  • 背景
  • 第一部分 Docker镜像准备
  • 第二部分 运行容器
  • 第三部分 cloudera-manager管理
  • 第四部分 组件使用测试
  • 第五部分 总结
  • 参考文献及资料

背景

通常在个人笔记本上部署Hadoop测试集群（含生态圈各组件）是个很耗时的工作。Cloudera公司提供一个快速部署的Docker镜像，可以快速启动一个测试集群。

测试环境为Ubuntu服务器

第一部分 Docker镜像准备

首先本机需要部署有docker环境，如果没有需要提前部署。

1.1 拉取Docker镜像

可以从DockerHub上拉取cloudera/quickstart镜像。

镜像项目地址为：https://hub.docker.com/r/cloudera/quickstart

# docker pull cloudera/quickstart:latest

如果不具备联网环境，可以通过镜像介质包安装。介质可以在官网（需要注册用户）下载：https://www.cloudera.com/downloads/quickstart_vms/5-13.html

由于墙的原因下载会很慢

# wget https://downloads.cloudera.com/demo_vm/docker/cloudera-quickstart-vm-5.13.0-0-beta-docker.tar.gz
# tar xzf cloudera-quickstart-vm-5.13.0-0-beta-docker.tar.gz
# docker import - cloudera/quickstart:latest < cloudera-quickstart-vm-5.13.0-0-beta-docker/*.tar

1.2 检查镜像库

# docker images|grep cloudera
cloudera/quickstart   latest   4239cd2958c6   3 years ago         6.34GB

说明镜像准备好了，下面基于镜像启动容器。

第二部分 运行容器

2.1 使用镜像启动容器

启动CDH集群的命令格式为：

# docker run --hostname=quickstart.cloudera --privileged=true -t -i [OPTIONS] [IMAGE] /usr/bin/docker-quickstart

官方提示的参数介绍如下：

OptionDescription
–hostname=quickstart.clouderaRequired: Pseudo-distributed configuration assumes this hostname.容器主机名（/etc/hosts中指定hostname）。
–privileged=trueRequired: For HBase, MySQL-backed Hive metastore, Hue, Oozie, Sentry, and Cloudera Manager.这是Hbase组件需要的模式。
-tRequired: Allocate a pseudoterminal. Once services are started, a Bash shell takes over. This switch starts a terminal emulator to run the services.
-iRequired: If you want to use the terminal, either immediately or connect to the terminal later.
-p 8888Recommended: Map the Hue port in the guest to another port on the host.端口映射参数。
-p [PORT]Optional: Map any other ports (for example, 7180 for Cloudera Manager, 80 for a guided tutorial).
-dOptional: Run the container in the background.容器后台启动。
–name容器的名字
-v host_path:container_path主机上目录挂载到容器中目录上，主机上该放入任何东西，Docker容器中对于目录可以直接访问。

当然还可以自定义其他docker启动参数。最后启动命令整理为：

docker run -t -i -d \
--name cdh \
--hostname=quickstart.cloudera \
--privileged=true \
-v /data/CDH:/src \
-p 8020:8020 -p 8042:8042 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -p 10000:10000 -p 88:88 -p 8888:8888 cloudera/quickstart \
/bin/bash -c '/usr/bin/docker-quickstart'

Cloudera 本身的 manager 是 7180 端口，提前配置端口映射。

启动容器我们使用了-d后台启动参数，如果没有指定后台启动，终端将自动连接到容器，退出shell后容器会中止运行（可以通过使用Ctrl + P + Q命令退出，这样容器会继续保持运行）。

对于已经后台运行的容器，我们使用下面的命令进入容器shell：

# docker attach [CONTAINER HASH]

建议使用下面的命令：

# docker exec -it 容器名 /bin/bash

2.2 时钟同步问题

容器内部使用的时间时区为UTC，和主机（宿主机通常为CST（东八区））不同时区，会提示时钟同步问题。解决的办法是：

在环境变量中添加时区变量,并source生效:

$ vi /etc/profile
文件末尾添加一行：TZ='Asia/Shanghai'; export TZ
$ source /etc/profile

最后启动时钟同步服务：

[root@quickstart home]# service ntpd startStarting ntpd:                                             [  OK  ]# 检查服务状态[root@quickstart home]# service ntpd statusntpd (pid  13536) is running...

这样完成时钟同步。

2.3 使用集群服务

这样集群的大部分服务组件均可使用。

第三部分 cloudera-manager管理

3.1 启动管理服务

CDH在该镜像中提供cloudera-manager组件，用户集群web管理界面，可以通过下面的命令启动。

需要注意的是，启动后CDH会停止其他组件服务。

#./home/cloudera/cloudera-manager --express [--force][QuickStart] Shutting down CDH services via init scripts...kafka-server: unrecognized serviceJMX enabled by defaultUsing config: /etc/zookeeper/conf/zoo.cfg[QuickStart] Disabling CDH services on boot...error reading information on service kafka-server: No such file or directory[QuickStart] Starting Cloudera Manager server...[QuickStart] Waiting for Cloudera Manager API...[QuickStart] Starting Cloudera Manager agent...[QuickStart] Configuring deployment...Submitted jobs: 14[QuickStart] Deploying client configuration...Submitted jobs: 16[QuickStart] Starting Cloudera Management Service...Submitted jobs: 24[QuickStart] Enabling Cloudera Manager daemons on boot...________________________________________________________________________________Success! You can now log into Cloudera Manager from the QuickStart VM's browser:    http://quickstart.cloudera:7180    Username: cloudera    Password: cloudera

集群控制台的地址为：http://quickstart.cloudera:7180，需要注意的是这里quickstart.cloudera是主机名，需要客户端hosts中配置，否则使用实IP或者容器端口映射后使用宿主机IP（例如：192.168.31.3）。

用户名和密码为：cloudera/cloudera,登录界面如下：

在这里插入图片描述

登录后，下图是集群控制台：

在这里插入图片描述

从管理界面上可以看到除了主机和 manager ，其他服务组件均未启动。

3.2 启动集群组件服务

在控制台上，我们按照顺序启动HDFS、Hive、Hue、Yarn服务。

如果服务启动异常，可以尝试重启服务组件。注意需要先启动HDFS后启动Hive，否则需要重启Hive。

第四部分 组件使用测试

4.1 HDFS组件使用

我们使用HDFS的Python API与集群hdfs文件系统进行交互测试：

4.1.1 查看文件系统
from hdfs.client import Clientclient = Client("http://192.168.31.3:50070", root="/", timeout=100)print(client.list("/"))# ['benchmarks', 'hbase', 'tmp', 'user', 'var']# 返回一个list记录主目录
4.1.2 上传新增文件

注意这里需要在宿主机（客户端机器）配置hosts文件：

192.168.31.3       quickstart.cloudera

然后执行：

client.upload("/tmp", "/root/jupyter/nohup.out")# '/tmp/nohup.out'# 返回路径信息
4.1.3 下载hdfs文件
client.download("/tmp/nohup.out", "/tmp")# 返回路径'/tmp/nohup.out'

第五部分 启用安全模式（Kerberos）

默认情况下集群是非安全模式，如果测试需要安全集群模式，可以在菜单：管理-安全中开始Kerberos。需要注意的是需要在容器中安装Kerberos。安装步骤如下：

  • 注释到无关源（docker容器执行）；

    # cd /etc/yum.repos.d# mv cloudera-manager.repo cloudera-manager.repo.bak

  • 部署yum源（宿主机执行）

    # wget https://www.xmpan.com/Centos-6-Vault-Aliyun.repo# docker cp Centos-6-Vault-Aliyun.repo 容器名:/etc/yum.repos.d

  • 然后安装Kerberos（docker容器执行）

    ./home/cloudera/kerberos

    等待安装完成即可。

接下来就是配置kerberos，主要涉及的配置文件有：

/etc/krb5.conf/var/kerberos/krb5kdc/kdc.conf/var/kerberos/krb5kdc/kdc.conf

主要调整是将EXAMPLE.COM调整为HADOOP.COM。另外配置文件krb5.conf需要个性化指定KDC服务器：

HADOOP.COM = {kdc = 服务器hostname或者IPadmin_server = 服务器hostname或者IP}

然后创建Kerberos数据库：

$ kdb5_util create –r HADOOP.COM -s

创建Kerberos管理账户：

$ kadmin.localkadmin.local: addprinc admin/admin@HADOOP.COM

最后启动服务：

[root@quickstart cloudera]# service krb5kdc startStarting Kerberos 5 KDC:                                   [  OK  ][root@quickstart cloudera]# service kadmin startStarting Kerberos 5 Admin Server:                          [  OK  ]

查看票据：

[root@quickstart cloudera]# kinit admin/admin@HADOOP.COMPassword for admin/admin@HADOOP.COM: [root@quickstart cloudera]# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: admin/admin@HADOOP.COMValid starting     Expires            Service principal03/16/21 16:30:57  03/17/21 16:30:57  krbtgt/HADOOP.COM@HADOOP.COM	renew until 03/16/21 16:30:57

生成keytab文件：

[root@quickstart keytab]# kadmin.localAuthenticating as principal admin/admin@HADOOP.COM with password.kadmin.local:  xst -norandkey -k admin.keytab admin/admin@HADOOP.COM

这样就生成了admin.keytab文件。然后使用下面的命令测试一下：

kinit -kt admin.keytab admin/admin@HADOOP.COM

第六部分 总结

1、Cloudera 的 docker 版本分成两部分启动。(1)启动各组件启动,使用命令为： /usr/bin/docker-quickstart，(2) 启动Cloudera manager 管理服务，启动命令为：/home/cloudera/cloudera-manager。docker启动时选择启动一项。

参考文献及材料

1、cloudera/quickstart镜像地址：https://hub.docker.com/r/cloudera/quickstart

2、cloudera/quickstart镜像部署指引：https://www.cloudera.com/documentation/enterprise/5-6-x/topics/quickstart_docker_container.html

3、利用 Docker 搭建单机的 Cloudera CDH 以及使用实践

更多关注公众号：
在这里插入图片描述

数据科学和工程
关注
专栏目录
大数据:基于Docker离线部署2.7.4版本ambari及启用kerberos安全认证(物理机同理)
03-17
1.离线部署ambari 2.7.4及HDP大数据组件服务(提供离线wangpan资源） 2.基于Docker部署(物理机部署同理) 3.开启kerberos权限认证服务，并提供相关Demo 4.支持HDFS、Spark、Yarn、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop和Hcatalog等 5.很详细的文档，包括各种可能出现的Bug
大数据学习之环境构建
Python+大数据+数据分析+自动化+Vue组件开发
04-21 296
【前置条件：需准备一台Linux or Mac OS 机器, 并且安装好了Docker 应用】 step1：本文是以docker image 构建为示例进行讲解。 https://www.cloudera.com/downloads/quickstart_vms/5-13.html 从此处下载需要学习的环境镜像文件，由于文件比较大，大家需要些耐心，下载操作如下图所示： step2：下载...
docker部署hadoop集群
最新发布
m0_63790435的博客
08-05 849
docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。
使用docker搭建hadoop分布式集群
热门推荐
大数据技术博客
01-13 6万+
使用docker搭建部署hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装。 2：在centos7中安装docker，docker的版本为1.8.2 安装步骤如下： &amp;lt;1&amp;gt;安装制定版本的dockeryum install ...
Hadoop QuickStart VM
01-27 4943
Cloudera-Quickstart-VM-5.3.0 下载包: http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html   打开终端, 默认是cloudera用户, 切换到root用户 su -  密码cloudera [root@quickstart ~]# ll
Hadoop（quick start）快速入门
塵风的blog
09-01 163
  Hadoop（quick start）快速入门 目的 •        先决条件 o        支持平台 o        所需软件 o        安装软件 •        下载 •        运行Hadoop集群的准备工作 •        单机模式的操作方法 •        伪分布式模式的操作方法 o        配置 o        免密码ssh设置...
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
09-30
主要介绍了详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
docker搭建hadoop hdfs完全分布式集群
shangcunshanfu的博客
09-07 2907
1 制作hadoop镜像 参见 https://www.cnblogs.com/rmxd/p/12051866.html 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。 2 启动容器 ``` docker run --name hmaster --hostname hmaster --network hadoop -d -P \ -p 50070:50070 \ -p 50010:500.
cloudera-quickstart-vm-5.13.0-0 书签
05-07
cloudera-quickstart-vm-5.13.0-0- 相关书签。
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
基于Ubuntu 14.04.3，搭建完全分布式CDH集群参考资料。 在公司测试环境中使用3台服务器完成搭建，
hadoop-quickstart-命令行方式打包运行wordcount
momomi_2005的专栏
03-24 584
在hadoop环境配置完成后，运行第一个例子程序： 1，创建文件 #echo "hello world" >> test1.txt #echo "hello hadoop" >> test2.txt 2，上传文件到hdfs #cd ../hadoop #bin/hadoop dfs -put ../input in  #bin/hadoop dfs -ls ./in/*
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
weixin_62819687的博客
03-08 3078
Docker的基础操作
简单讲讲在一台机器上用docker部署hadoop HDFS
qq_42901723的博客
09-13 2462
注意了!一定注意存储空间大小,确保机器至少有10G左右的空余,不然跑不起来的。
实现kerberos认证的hadoop 3.2 分布式部署docker脚本
黑天的猩猩
11-11 1218
共搭建了DNS Server , NTP Server，Kerberos 5 Server，Hadoop 3.2 HDFS，Haddop 3.2 Yarn，形成了docker file文件，所有资源从网上下载，本地不需要资源即可构建，构建后不需要修改即可启动，启动后即是集群，贴出主要内容 Hadoop Base Dockfile 脚本： FROM centos:7 ARG HADOOP_D...
[零基础]用docker搭建Hadoop集群
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
使用Docker快速搭建Hadoop分布式集群实战指南
1. 使用构建好的Hadoop镜像创建容器，每个容器代表Hadoop集群中的一个节点，例如NameNode、DataNode、ResourceManager和NodeManager。 2. 设置容器间的网络通信，可以使用Docker的网络模式，如桥接网络或主机网络，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值