基于docker的CDH离线安装部署。将cdh安装在docker中，并配置网络

最新推荐文章于 2024-02-20 20:24:18 发布
最新推荐文章于 2024-02-20 20:24:18 发布
阅读量1k 收藏 1
点赞数
文章标签： docker cdh 大数据 hadoop centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazyultimate/article/details/117533405
版权
该博客详细介绍了如何在Docker中基于CentOS7离线安装CDH 6.1.1，包括集群规划、网络设置、创建基础镜像、配置Cloudera Manager的Parcel仓库、安装数据库和CM服务器、部署CDH节点。此外，还提供了问题解决方案，如cm_guid不匹配的处理方法，并附带了多个Docker容器内的服务安装和配置，如NTP、MySQL、httpd和redis。
摘要由CSDN通过智能技术生成

规划与规范

确定版本

服务器版本：Centos7

CDH版本：CDH 6.1.1

JDK版本：openjdk1.8

docker engine：19.0.3

Database：mysql 5.7

统一用户密码或设置免密登录

CDH安装过程中需要用到root用户权限，一般使用root用户进行安装。如果必须使用非root用户，请参考官网配置。

如果使用root用户，则统一密码。

如果使用免密登录，则配置免密登录（Centos7配置略）。

密码规范：（略）

集群规划

1台本地仓库repo服务器，带httpd服务。

1台mysql服务器，用作CDH元数据库。

1台cm管理服务器。

6台host节点服务器。

规划网络（内外通讯模式和矩阵）

设置内部局域网，subnet为172.19.0.0/16，gateway为172.19.1.1，只有一个对外堡垒机即CM服务器（配置docker端口映射7180、22两个端口），其他服务器均为局域网内服务器。

网络拓扑图如下：

（略）

规范主机名网络名

主机名规范：假设XX表示cdh集群编号，YY表示服务编号，两者均为从01开始的正整数，则，

cm服务器主机名规范为：cdhXXcmYY

host服务器主机名规范为：cdhXXhostYY

matedatadb主机名规范为：cdhXXmatedbYY

本地仓库repo的主机名为固定为 repo

网络名固定为 e-marker.com

最后的hosts映射关系为：

cdh01cm01.e-marker.com:172.19.0.4

cdh01host01.e-marker.com:172.19.0.5

cdh01host02.e-marker.com:172.19.0.6

cdh01host03.e-marker.com:172.19.0.7

cdh01host04.e-marker.com:172.19.0.8

cdh01host05.e-marker.com:172.19.0.9

cdh01host06.e-marker.com:172.19.0.10

repo.e-marker.com:172.19.0.2

cdh01matedb01.e-marker.com:172.19.0.3

规划挂载卷

1、mysql配置目录：

2、mysql数据目录：

3、HDFS的数据目录：

4、CDH的配置目录：

创建基础镜像

下载centos镜像

docker pull centos:7

必备安装与设置

由于docker版的centos7极度精简，只有220m，很多软件需要自己安装。

#repo服务器创建docker镜像，安装：httpd（设置自启动）。

#cm和host服务器创建docker镜像，

1）安装：openssh-clients、openssh-server（配置SSH登录）、java-1.8.0-openjdk-devel、mysql-connector-java、ntpd（设置自启动）。

2）repo

vi /etc/yum.repos.d/cloudera-repo.repo

[cloudera-repo]

name=cloudera-repo

baseurl=http://repo.e-marker.com/cloudera-repos/cm6/

enabled=1

gpgcheck=0

注意：其中baseurl是！！！！！！！！！！！！！！！！

3）设置root用户密码。

4）Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10，建议设置为1。

修改swappiness参数有临时修改和永久修改两种方法：

----临时修改：

# sysctl vm.swappiness=1

vm.swappiness = 1

----永久修改：

vi /etc/sysctl.conf，添加如下参数：

vm.swappiness=1

或者：

# echo 'vm.swappiness=1'>> /etc/sysctl.conf

保存，重启生效。

#ssh免登录设置

见前面的文章：ssh配置免密登录手动版和脚本版

https://segmentfault.com/a/1190000019919600?share_user=1030000019541827

#禁用防火墙（如果安装了防火墙）

CentOS7防火墙命令

firewall-cmd --state                 查看防火墙

systemctl stop firewalld.service     关闭防火墙

systemctl disable firewalld.service  永久关闭防火墙

注释：docker版centos7不需要。

#禁用SElinux

1）检查SElinux 状态

getenforce

2） 如果输出是 Permissive 或者 Disabled, 则不用配置SElinux，如果输出是enforcing 执行下面步骤设置SElinux

setenforce 0 （临时生效）

修改 /etc/selinux/config 下的 SELINUX=disabled 或者 permissive（重启后永久生效）  

注释：docker版centos7不需要。

#使能NTP服务并同步

Enable an NTP Service | 6.1.x | Cloudera Documentation

注释：docker版centos7没有chronyd，手动安装ntpd服务。

#安装Python 2.7

CDH 6 需要 Python 2.7，RHEL 7系统包含Python 2.7，因此不要安装。查看pyhton 版本

python -V

注释：docker版centos7不需要。

%容器导出镜像%

配置Cloudera Manager 使用Parcel repo

  1. 两种方法二选一，配置parcel
  2. Navigation bar - 导航条
  3. 点击navigation bar 的parcel图标或者点击 Hosts 然后点击 Parcels 标签
  4. 点击 Configuration 按钮
  5. Menu - 菜单
  6. 选择 Administration (管理) -> Settings (设置)
  7. 选择 Category  > Parcels
  8. 在 Remote Pacel Respository URLs 点击添加按钮，并添加。
  9. 填上parcel地址，比如  http://<web_server>/cloudera-parcels/cdh6/6.2.0/
  10. 填写 Reason for change  变更原因,点击 Save Changes 提交保存。

做好集群规划

CM使用两台、hdfs至少3台，kafka至少3台。

配置一台软件仓库服务器，仅仅在安装和升级的时候使用一次即可。固定hostname=bd000.mybd.com

使用本地包仓库部署安装

安装教程参考：

Step 4: Install and Configure Dat

最低0.47元/天 解锁文章
JCrazyUltimate
关注
CDH docker部署
yeyiboy的博客
06-20 2729
一、bridge模式启动docker 1、安装docker （1）yum remove docker （2）yum remove docker-selinux （3）vim /etc/yum.repos.d/docker.repo [dockerrepo] name=Docker Repository ...
Docker容器部署CDH
懂哥的博客
05-17 3714
Docker容器部署CDH 文章目录Docker容器部署CDH一、 概述1.1目的1.2 linux服务1.3 容器服务1.4 端口相关二、 具体操作流程2.1 安装docker[绿色安装]2.1.1解压docker压缩包2.1.2复制docker 部署文件夹2.1.3启动docker服务2.1.3.1 方式一：直接启动docker服务2.1.3.2 方式二：自定义docker服务2.1.4测试安装是否成功2.1.4.1方式一 docker -v2.1.4.2方式二 docker info2.1.4.3 方
Docker 搭建完全分布式CDH集群
secretWHD的博客
10-27 3797
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全分布式CDH集群的难点，这里将使用Dokcer Swarm网络解决了这个问题。 1. 拷贝安装包 将镜像安装包拷贝到各个节点 主节点拷贝 master-serv...
docker 搭建 cdh 分布式集群
weixin_42237388的博客
03-01 1059
参考地址： 1 新建镜像 （主节点） docker run --privileged=true --name w1 -h w1 -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50071:50070 -p 50076:50075 -p 50011:50010 -p 50021:50020 -p 8889:8888 -p 10022:22 -p 8901:8900 9781:9780 8089:8088 ky:master /usr/sbin/
Docker容器部署CDH6.3.0
HFDY的博客
04-26 2049
1、阿里云配置： 类型 配置 CPU 8核 内存 64G 硬盘 500G 操作系统 Centos7 64位 2、1.1 配置yum源 yum install -y wget \ && mkdir -p /etc/yum.repos.d/repo_bak \ &amp...
大数据平台CDH6.2.0安装部署
10-27
该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置Cloudera Manager Agent等步骤。 一、安装Cloudera Manager Server Cloudera Manager Server是大数据平台的核心组件，负责管理...
CDH docker镜像构建、管理
11-09
CDH docker镜像构建、管理
docker安装cdh集群
m0_60388261的博客
07-28 459
京东一面凉经 object的方法，7大方法 synchronized方法讲解 synchronized方法实现原理 volatile关键字的原理 锁的分类 偏向锁讲解 NoClassDefFoundError和ClassNotFoundException的区别 追问，ClassNotFoundException是不是只发生在编译时，运行时可不可以 类加载机 制 redis过期策略及内存淘汰机制 mysql的索引种类4种 Innodb和myIsam的区别 Innodb的索引结构 B+树的优缺点 海量数据的索
保姆级教程：docker下安装CDH（单机版）
最新发布
阿甘兄
02-20 1617
超详细讲解Docker下安装单机版CDH的完整流程
绝对实用-Docker单节点和跨服务搭建CDH6.3.2集群
secretWHD的博客
09-15 2540
前言 承蒙朋友的关照，让我在短时间内从零学会安装使用CDH和Docker，并将其融会贯通，完成Docker搭建CDH集群的工作。在这我也将整个安装流程和心得，尽可能详细的阐述清楚，让各位在安装搭建之路上，少走弯路，理清思路。 本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS 7，CDH6.3 ，MySQL5.7 ，JDK1.8 等。 根据Docker特性和CDH的安装流程，按如下图进行操作：大概流程就是制作...
cdh5-wc-docker:用于 cloudera hadoop 5 的 Docker 容器，带有字数统计示例应用程序
06-08
WordCount 示例应用程序 这个例子使用了提供的： 先决条件： 安装码头工人： 下载修改（双计数“cloudera”）字数： 执行： 拉取 Docker 镜像： docker pull karthicks/cdh5-docker 在后台运行图像并挂载 wordCount.java ： docker run -i -t -v /root/WordCount.java:/root/WordCount.java --name cdh_wc7 -d -p 9020:9020 -p 60070:60070 -p 60010:60010 -p 60020:60020 -p 60075:60075 -p 9030:9030 -p 9031:9031 -p 9032:9032 -p 9033:9033 -p 9088:9088 -p 9040:9040 -p 9042:9042 -p 1002
docker cdh
vic868的专栏
01-29 598
docker run --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8...
CentOS7、Docker下搭建CDH6.2.0集群环境
Wan的博客
08-16 958
CentOS7、Docker下搭建CDH6.2.0集群环境安装规划环境准备环境安装CM安装集群安装集群的重启常见问题 安装规划 hadoop1 hadoop2 hadoop3 mysql cmrepo cloudera-manager-server √ cloudera-manager-agent √ √ √ NameNode √ DataNode √ √ √ SecondaryNameNode √ ResouceManager √
利用 Docker 搭建单机的 Cloudera CDH 以及使用实践
隔壁老瓦的专栏
09-11 1166
教程地址 https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cloudera_quickstart_vm.html docker安装cdh https://www.cloudera.com/documentation/enterprise/5-13-x/topics/quickstart_docker_con...
docker系列3：docker搭建CDH集群[单机单节点]
热门推荐
eyeofeagle的博客
12-21 1万+
1, 使用docker 拉取cdh的docker镜像 2, 运行容器 3, 进入容器启动cloudera服务 4, 通过web访问： http://quickstart.cloudera:7180 ###1, 使用docker 拉取cdh的docker镜像， 运行容器 root@wang-pc:/var/lib/docker# docker pull cloudera/quickstart ...
centos7下docker搭建cdh
flam_e的博客
01-08 2323
一.安装jdk rpm -qa|grep jdk yum -y install java-1.8.0-openjdk* 设置环境变量： jhometip='# add JAVA_HOME' jhomescript='export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0' sudo echo $jhometip &amp;amp;amp;amp;gt;&amp;amp;amp;amp;gt; /...
Docker学习---案例：在Docker上部署CDH QuickStartVM
huxiaotong_exp的专栏
09-09 8142
注意：这里案例是从官网上下载镜像并手动加载，其实可以直接从阿里云镜像站pull quickstartVM镜像 部署环境 安装步骤 1.在台式PC机上安装centos7.5操作系统 参考之前的学习日志，此处略 2.安装配置docker 参考之前的学习日志，此处略 3.安装配置docker-machine 参考之前的学习日志，此处略 4.安装VirtualBox 参考之前的...
Docker安装hadoop-cdh
weixin_40548182的博客
08-27 545
Docker安装hadoop-cdh 第1章 环境 1.1 操作系统及docker版本 Centos7 Docker服务器两台，overlay网络。私有docker registry 1.2 安装前准备 关掉防火墙和selinux 1.3 需要的安装包 jdk-8u181-linux-x64.tar.gz mysql-connector-java-5.1.47.tar.gz（去mysql官网下载，不一定非得是这个版本，详细版本参考java和mysql的jdbc对应图） consul_1.3.0_linux
CDH6.3.2安装部署
qqjjj的博客
03-31 3266
1.修改主机名称 vi /etc/hostname cdh-100 cat /proc/sys/kernel/random/uuid 2.固定ip 每台机需调整ipaddr vi /etc/sysconfig/network-scripts/ifcfg-ens33 /#添加如下配置信息 DNS1=192.168.20.2 #NDS IPADDR=192.168.20.100 #IP地址 GATEWAY=192.168.20.2 #网关 PREFIX=24 #centos子网掩码长度：24–> 255.
阿里云上使用Docker部署CDH 6.3.0容器教程：初始化配置
3. **启动容器**：虽然这部分没有具体列出，但可以推断接下来将介绍如何基于CDH6.3.0的镜像创建和运行容器，可能涉及到编写Dockerfile、创建网络、映射主机资源到容器，以及设置容器运行时的配置等。 值得注意的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值