CDH6安装文档

最新推荐文章于 2024-04-08 02:48:36 发布
最新推荐文章于 2024-04-08 02:48:36 发布
阅读量264 收藏
点赞数 1
分类专栏： 大数据 架构 文章标签： linux 运维 大数据
原文链接：https://mp.weixin.qq.com/s/K77ic7z_PzBvnniM2Wbx4Q
版权

集群信息

集群信息

IP

hostname

节点类型

192.168.159.9

lbmaster

管理节点

192.168.160.221

lbnode1

数据节点

192.168.160.222

lbnode2

数据节点

192.168.160.198

lbnode3

数据节点

基础环境配置(所有主机都需要配置)

配置hosts文件

配置hosts文件，实现主机名与ip的映射

1、vi /etc/hosts

2、数据ip与主机的映射关系，如下图

1、因为所有主机的hosts文件都一致，为了减少重复工作使用scp命令拷贝到所有主机，

scp /etc/hosts root@192.168.160.221:/etc/

scp /etc/hosts root@192.168.160.222:/etc/

scp /etc/hosts root@192.168.160.198:/etc/

设置hostname

1、分别进入集群中的每个主机，设置hostname,需要注意的是hostname最好不好设置为大写，因为后续如果要开启kerberos的时候会报错。

2、在lbmaster主机上输入：hostnamectl set-hostname lbmaster

3、在lbnode1主机上输入：hostnamectl set-hostname lbnode1

4、在lbnode2主机上输入：hostnamectl set-hostname lbnode2

5、在lbnode3主机上输入：hostnamectl set-hostname lbnode3

6、验证 在每台主机上输入 hostname 看输出的结果是否与主机相对应

关闭防火墙与selinux文件

1、每台主机都需要关闭防火墙，并且selinux也需要置为disabled

2、在所有主机分别执行以下三条命令

systemctl stop firewalld

systemctl disable firewalld.service

iptables -F

3、关闭selinux 输入vi /etc/selinux/config,将SELINUX=disabled

4、其他主机一样，为了减少重复工作 使用scp拷贝到其他主机

scp /etc/selinux/config root@192.168.160.221:/etc/selinux

scp /etc/selinux/config root@192.168.160.222:/etc/selinux

scp /etc/selinux/config root@192.168.160.198:/etc/selinux

配置管理节点到数据节点的SSH免密

1、在管理节点(lbmaster) 节点下 ~/.ssh文件夹下执行ssh-keygen -t rsa （如果没有.ssh文件夹，就先ssh连接下别的机器）,执行过程中按三次回车即可

2、执行完成后会生成以下文件

3、将公钥发送给其他节点,有提示输入的yes的就输入yes，输入密码就输入主机密码即可

ssh-copy-id lbmaster

ssh-copy-id lbnode1

ssh-copy-id lbnode2

ssh-copy-id lbnode3

4、测试，ssh到任意一台主机不用输入密码即可进入，这样就算是配置成功

配置NTP服务实现时钟同步

1、所有节点都需要安装ntp,如果没有ntp先安装ntp,一般集群无法连接外网，可以先完成配置本地源的操作

yum install -y ntp

2、在lbmaster修改ntp.conf 输入vi /etc/ntp.conf ,注释其他时间服务器，添加为本机

server 127.127.1.0

fudge 127.127.1.0 stratum8

2、在其他节点(lbnode1\lbnode2\lbnode3)修改ntp.conf文件 输入vi /etc/ntp.conf 在26行添加server lbmaster iburst,注释其他时间服务器

3、在所有节点启动ntp服务

systemctl start ntpd

systemctl enable ntpd

4. 验证是否成功设置开机自启动

systemctl list-unit-files |grep enabled | grep ntpd

安装JDK

JDK最好安装1.8的，因为CDH6.0以后JDK版本最低为1.8

1、所有主机卸载系统自带的openjdk(如果没有就可跳过)

2、使用 rpm -qa | grep jdk 检查系统是否有openjdk

3、卸载自带openjdk 在每个主机输入 rpm -qa|grep openjdk |xargs -I {} rpm -e --nodeps {}

4、将准备好的jdk上传到各个主机中

5、在所有主机中输入 rpm -ivh jdk-8u111-linux-x64.rpm 进行安装

6、验证是否安装成功 输入 rpm -qa | grep jdk

CDH平台性能优化

Cloudera官网提供了一些性能优化的建议，尽可能的提高平台的效率，详情见https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_performance.html#cdh_performance__section_hw3_sdf_jq

删除虚拟网卡

1、所有主机需要安装所需的依赖

yum install -y qumu-kvm* libvirt* virt-install* bridge-utils

2、所有主机运行 virsh net-destroy default

3、所有主机运行 virsh net-undefine default

静止透明大页

大页面（Huge Page）是内存分页管理的一种实现方式。计算机内存是通过表映射（页表）的方式进行内存寻址，目前系统内存以4KB为一个页，作为内存寻址的最小单元。随着内存不断增大，页表的大小将会不断增大。一台256G内存的机器，如果使用4KB小页，仅页表大小就要4G左右。页表是必须装在内存的，而且是在CPU内存，太大就会发生大量miss，内存寻址性能就会下降。

Huge Page就是为了解决这个问题，它使用2MB的大页代替传统小页来管理内存，这样页表大小就可以控制的很小，进而全部装在CPU内存，防止出现miss。它有两种实现方式，一是静态大页面（Static Huge Pages，SHP），二是透明大页面（Transparent Huge Pages，THP）。从它们的名字就可以看出，SHP是静态的，而THP是动态的。由于THP是在运行期做分配和管理，因此会有一定程度的延迟，对于内存密集型的应用十分不利，必须关闭它。

1、所有主机输入以下命令

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

2、所有主机的/etc/rc.local中也需要加入这两条命令

减少集群使用交换内存

swappiness设置值的区间在0~100之间，swap即交换空间，作用类似于Windows中的虚拟内存，也就是当物理内存不足时，将硬盘上的swap分区当做内存来使用。但是，由于磁盘的读写速率与内存相比差太多，一旦发生大量交换，系统延迟就会增加，甚至会造成服务长期不可用，这对于大数据集群而言是致命的。
vm.swappiness参数用于控制内核对交换空间的使用积极性，默认是60。值越高，就代表内核越多地使用交换空间。
对于内存较大的CDH集群，我们一般将这个值设为0或1。0表示只有当可用物理内存小于最小阈值vm.min_free_kbytes时才使用交换空间，1则表示最低限度地使用交换空间。

所有主机运行以下三条命令

sysctl -w vm.swappiness=0

echo 'vm.swappiness=0' >> /etc/sysctl.conf

sysctl -p

配置本地源安装HTTP与REPO

配置Yum源用于安装HTTP等软件，最终将本地源配置为网络源，让其他主机也可以使用该源下载软件，还有一个作用就是安装agent的时候需要下载一些依赖包。

安装HTTP服务与REPO

1、安装repo

yum install -y createrepo

2、安装httpd服务

yum install -y httpd

3、开启httpd服务并设为开机自启动

systemctl start httpd

systemctl enable httpd

准备系统镜像

1、创建文件夹用于存放系统镜像

mkdir -p /var/www/html/yum

2、上传镜像到/var/www/html/yum这个目录下面

挂载镜像

1、将/etc/yum.repos.d文件夹下用不到的配置文件全部进行重命名备份

2、新建redhat.repo文件

3、修改文件内容如下

4、停用redhat订阅插件（非必须）

yum.repos.d]# vim /etc/yum/pluginconf.d/subscription-manager.conf

5、挂载镜像

mount /var/www/html/yum/rhel-server-7.7-x86_64-dvd.iso /var/www/html/yum

6、验证是否挂在成功，执行yum list 如果出现大量的软件列表即挂载成功

将本地Yum源配置为网络Yum源

1、编辑 vi /etc/yum.repos.d/ redhat.repo 内容如下

2、验证 在浏览器中输入 http://192.168.159.9/yum/ 如果出现如下即为成功

3、将该yum源文件scp到其他主机

scp /etc/yum.repos.d/redhat.repo root@192.168.160.221:/etc/yum.repos.d/

scp /etc/yum.repos.d/redhat.repo root@192.168.160.222:/etc/yum.repos.d/

scp /etc/yum.repos.d/redhat.repo root@192.168.160.198:/etc/yum.repos.d/

外部数据库安装(在管理节点安装)

安装数据库主要存储元数据信息，比如CM监控，hive元数据等

准备Mysql rpm包

1、将Mysql所需的rpm包上传到lbmaster节点上

卸载系统自带的数据库

1、卸载系统自带的mariadb数据库 输入rpm -qa|grep mariadb | xargs -I {} rpm -e --nodeps  {}

安装Mysql数据库

1、按照以下步骤安装mysql数据库

rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.27-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm

2、开启数据库服务

systemctl start mysqld

systemctl enable mysqld

3、获取mysql初始化密码

grep 'temporary password' /var/log/mysqld.log

4、修改Mysql密码

mysql -uroot -p 输入上面获取到的密码

alter user root@localhost identified by '2wsx#EDC';

flush privileges;

创建所需的数据库并授权

1、输入以下命令 创建集群所需的数据库（一起复制）

mysql -uroot -p2wsx#EDC -e 'create database metastore default character set utf8;'

mysql -u root --password='2wsx#EDC' -e "create user 'hive'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database hive default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on hive.* to 'hive'@'%'";

mysql -u root --password='2wsx#EDC' -e "grant all privileges on metastore.* to 'hive'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'amon'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database amon default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on amon.* to 'amon'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'rman'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database rman default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on rman.* to 'rman'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'sentry'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database sentry default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on sentry.* to 'sentry'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'nav'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database nav default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on nav.* to 'nav'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'navms'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database navms default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on navms.* to 'navms'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'cm'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database cm default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on cm.* to 'cm'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'oos'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database oos default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on oos.* to 'oos'@'%'";

mysql -u root --password='2wsx#EDC' -e "create user 'hue'@'%' identified by '2wsx#EDC'";

mysql -u root --password='2wsx#EDC' -e 'create database hue default character set utf8';

mysql -u root --password='2wsx#EDC' -e "grant all privileges on hue.* to 'hue'@'%'";

验证

1、进入数据库验证是否创建成功

CDH软件下载及配置

下载地址

公众号【五分钟学大数据】，回复关键字：cdh 即可获得百度云下载地址

所需文件

1、CM需要下载以下文件

2、CDH需要以下文件

上传文件

1、创建文件夹

mkdir /var/www/html/cdh6/

mkdir /var/www/html/cm6/

2、将CM文件和CDH文件上传到各自文件夹中

配置CM本地Yum源

1、进入 /var/www/html/cm6/ 文件夹

2、运行以下命令，用于执行本地yum操作

createrepo .

      

3、新建cm repo源并修改为以下内容（下图中的cm5.14有问题，应该是cm6，名称和上面文件夹名称一样）

touch /etc/yum.repos.d/cm.repo

      

4、将该cm源scp到其他节点

scp cm.repo root@lbnode1:/etc/yum.repos.d/

scp cm.repo root@lbnode2:/etc/yum.repos.d/

scp cm.repo root@lbnode3:/etc/yum.repos.d/

安装Cloudera Manager

1、在管理节点上安装Cloudera Manager

yum install cloudera-manager-daemons cloudera-manager-server

2、复制mysql-connect到/usr/share/java/,如果没有该文件夹可以自行创建

cp /opt/software/mysql/mysql-connector-java.jar /usr/share/java/

3、初始化数据库

CDH6: /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm 2wsx#EDC

CDH5: /usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm 2wsx#EDC

Mysql不在本机：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm -h192.168.159.9 cm 2wsx#EDC

4、启动CM

systemctl start cloudera-scm-server.service

1、进入CM管理界面

http://192.168.159.9:7180/cmf/login

2、输入账号密码 默认 admin/admin

3、选择继续即可

4、同意协议，继续

5、选择企业版试用60天，继续

6、继续

7、继续

8、输入192.168.159.9~12,点击搜索

9、成功搜索后会出现可安装的主机 点击继续

10、配置CM库，输入http://192.168.159.9/cm6/

11、配置parcel自定义库，点击更多配置，在第一行输入http://192.168.159.9/cdh6/

12、已经安装过JDK所以取消，点击下一步

13、输入root密码，点击继续

14、等待安装

15、agent安装完成

16、开始安装大数据组件

17、安装成功 点继续

18、检查主机正确性 点继续

19、选择要添加的服务

20、角色分配，管理节点安装NameNode等管理角色，数据节点安装DataNode等角色，按照下图分配，然后点继续

21、设置各组件的数据库，点击测试

22、审核 默认即可

23、集群启动成功

24、至此集群安装完成

csdn-延
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档，学习大数据利器
CDH6安装教程(亲自测试越坑版)
IT- 研究者
09-12 4771
一、Hadoop大数据平台 1、Hadoop 发行版 (1) 完全开源的原生的Apache Hadoop (2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP） (3) MapR公司的MapR(已经被HPE收购) (4) AWS亚马逊的EMR (5) 国内华为的fusioninsight (
超简单的CDH6部署和体验(单机版)
最新发布
2401_84048179的博客
04-08 866
Java架构进阶面试及知识点文档笔记这份文档共498页，其中包括Java集合，并发编程，JVM，Dubbo,Redis，Spring全家桶，MySQL，Kafka等面试解析及知识点整理Java分布式高级面试问题解析文档其中都是包括分布式的面试问题解析，内容有分布式消息队列，Redis缓存，分库分表，微服务架构，分布式高可用，读写分离等等！互联网Java程序员面试必备问题解析及文档学习笔记Java架构进阶视频解析合集《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》
CDH6.x企业级大数据平台搭建
01-30
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
cdh6.0安装部署
weixin_40700855的博客GJB
08-06 916
1.环境准备 1.1.安装包 下载地址：https://archive.cloudera.com/cdh6/6.0.1/parcels/ https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/ 安装包清单： 系统和iso镜像： 1.2.物理机或虚拟机 cdh集群至少三台物理机或虚拟机，各主机内存在16G以上； 使用虚拟机搭...
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 5206
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
CDH6安装脚本+文档全套资料
04-29
CDH6安装脚本+文档全套资料，个人实战并上线部署过，百分百可用
CDH 集群安装文档参考
08-30
CDH 集群安装文档参考
CDH 6.2.0 安装文档.docx
06-07
该操作书适用于 CDH6.X+CentOS7.X。 可以按照文档step by step 完成 CDH6.X+CentOS7.X以及周边系统的搭建。
CDH安装部署文档
11-15
CDH安装部署文档，此文档是个人学习总结，有不足之处，希望大家可以提出
CDH离线安装文档
01-30
离线安装CDH，从系统配置准备到安装完毕，以及新主机节点的添加
cdh 简介_大数据技术之关于CDH6的一些介绍
weixin_39551462的博客
12-23 1577
本篇教程探讨了大数据技术之关于CDH6的一些介绍，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。一：cdh6的介绍1.1：cdh6的发布Cloudera在北京时间5月16日的半夜，在其社区(community.cloudera.com)对外宣布发布ClouderaEnterprise6，Beta。咱们在5月没有等到CDH5.15，等到C6beta也是不错的C6相...
CDH6，2024最新大数据开发常用开源库总结
2401_84159791的博客
04-08 325
外链图片转存中…(img-Ign7ubmO-1712513411290)]
非常详细的CDH6环境安装（离线版）
笑里笑外~
10-18 5742
大数据学习总结系列——CDH6环境安装（离线版）CDH6环境安装（离线版）一、预备阶段1. 集群机器2. 准备安装包二、环境安装（关闭防火墙~）1.修改hostname和hosts(所有节点)2.SSH免密登录（所有节点）3.配置NTP服务（所有节点）4.安装JDK（所有节点）5.安装Mysql5.安装CM组件(所有节点)总结 CDH6环境安装（离线版） 官网介绍:          CDH是Cloudera的100％开源平台发行版
Cloudera Manager安装CDH6教程-（一）虚拟环境安装配置
Carson073的博客
04-18 1699
一 CentOs7安装 1.1选择创建好的虚拟机，”开启此虚拟机“ 1.2选择安装centos7 1.3选择英文版安装 1.4配置时间 1.5软件选择 1.6系统分区设置 这里使用自动也是可以的，就不需要做如下的自定义配置 1.7网关配置 1.8开始安装 1.9修改密码（一定要记住哦），选择是否创建用户(这里没有创建)，等待安装完成 1.10同意协议，配置相关信息 二 配置IP 2.1查看原有IP ifconfig 2.2修改网络配置文件 #进入
环境篇：CM+CDH6.3.2环境搭建(全网最全)
萌兔兔MMQ！！
04-26 4899
环境篇：CM+CDH6.3.2环境搭建(全网最全) 一 环境准备 1.1 三台虚拟机准备 Master( 32g内存 + 100g硬盘 + 4cpu + 每个cpu2核) 2台Slave( 12g内存 + 100g硬盘 + 4cpu + 每个cpu1核) 参考地址： https://www.cnblogs.com/ttzzyy/p/12566281.html 1、准备的机器只要网络IP不冲突通并且可以正常访问网络即可，如机器资源不够，可自行分配所需要的资源，或者使用云服务 2、关闭防火墙，云服务还需要开启对
CDH6.3.2大数据集群生产环境安装(六)之clouderManager初始化以及CDH的kafka、hdfs、zookeeper、hbase、spark等各组件安装
nhm_lxy的专栏
04-10 268
CDH6.3.2大数据集群生产环境安装(六)之clouderManager初始化以及CDH的kafka、hdfs、zookeeper、hbase、spark等各组件安装
CDH6.3.1安装
Allenzyg的博客
05-28 5541
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
cdh 的安装使用教程
01-05
4. 安装CDH：解压下载的CDH软件包，并按照Cloudera提供的文档进行安装步骤。 5. 配置CDH：通过编辑配置文件，根据自己的需求设置CDH的相关参数，如内存分配、存储路径等。 6. 启动CDH：运行启动命令，启动CDH的各个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值