集群安装（以CDH6.0为例）

最新推荐文章于 2024-05-13 21:57:41 发布
最新推荐文章于 2024-05-13 21:57:41 发布
阅读量260 收藏
点赞数
分类专栏： 大数据入门技术栈详解 文章标签： 大数据 linux cloudera hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IntelligentOcean/article/details/106176124
版权

安装准备工作

系统环境：REDHAT 7 
CDH版本：CDH6.0.0
安装包地址：CM6安装包（ https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/）
 
1、CDH6安装包：https://archive.cloudera.com/cdh6/6.0.0/parcels/
下载对应系统版本的Parcel包
下载对应系统版本Parcel包的Sha文件
下载manifest.json
保存到服务器/opt/cloudera/parcel-repo
 
2、下载libtidy组件（这是HUE需要的一个插件，但并没有在CDH的Parcel包里，在HUE安装过程中如果没安装这个插件会报错）
http://rpmfind.net/linux/epel/7/x86_64/Packages/l/libtidy-5.4.0-1.el7.x86_64.rpm
 
3、下载JAVA JDK 1.8，目前Cloudera 推荐使用的最高版本为8u162
http://download.oracle.com/otn/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.tar.gz
 
4、下载mysql-connector-java
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
解压，找到里面的mysql-connector-java-5.1.47\mysql-connector-java-5.1.47-bin.jar文件，改名为mysql-connector-java.jar, 存放在服务器的 /usr/share/java 中

系统初始化工作

1. 修改所有节点的HOSTNAME，HOSTNAME必须为FQDN（fully qualified domain name）,如：cdhm.test.com， 执行以下命令修改，修改每个节点为不同的名字。
2. 修改所有节点的网络名，/etc/sysconfig/network，注意每个节点的名称对应上一步修改的HOSTNAME，内容如下：
HOSTNAME=cdh.local.com             执行该命令更改Linux系统的主机名：sudo hostnamectl set-hostname cdh.local.com
3. 修改所有节点的hosts 文件,  /etc/hosts，注意每个HOST的名称也必须为FQDN格式，如下，（注意：本手册后面提到主服务器即表示cdh.local.com这台服务器，其余为从服务器）：

192.168.1.14  cdh.local.com  cdh0
192.168.1.10  cdh.local1.com  cdh1
192.168.1.11  cdh.local2.com  cdh2
192.168.1.12  cdh.local3.com  cdh3

4. 验证HOSTNAME

  • 执行uname –a 查看输出是否为设定的HOSTNAME，
  • 执行 ifconfig 查看eth0的inet addr显示的主机IP地址与HOSTS里配置的一样
  • 执行host -v -t A $(hostname) 确认输出为设定的HOSTNAME 及IP 与ifconfig 的inet addr一致

5. 关闭防火墙

  • 查看防火墙状态：systemctl status firewalld.service
  • 关闭防火墙：systemctl stop firewalld
  • 禁用防火墙：systemctl disable firewalld

6. 关闭SElinux

  • 修改SElinux配置文件 /etc/selinux/config, （某些系统可能是/etc/sysconfig/selinux）
  • 找到SELINUX, 将它改为permissive 或者disabled
  • 6.3 执行setenforce 0 对SElinux 进行立即关闭

7. 安装NTP，设置时钟同步，在所有节点上安装NTP，执行命令如下：

yum –y install NTP

 

  •  其中一台服务器作为NTP主服务器，修改NTP主服务器文件 /etc/ntp.conf，修改server 部发如下，表示这台服务器的时钟与自身同步：
server 127.127.1.0
furge 127.127.1.0 stratum 10

 

  • 修改其它服务器的NTP配置文件/etc/ntp.conf，将server 修改为NTP主服务器的IP地址，比如cdhm.test.com 作为NTP主服务器，IP为192.17.1.111，则修改为 server 172.17.1.111
  • NTP主服务器重启ntp 服务：service ntpd restart
  • 调整从服务器的时钟与NTP主服务器同步, 在其它NTP从服务器上执行：ntpdate cdh.local.com

8. 在所有节点上安装libtidy 插件，在放置libtidy 安装包的位置执行，例如 /var/www/html，执行

rpm -ivh /var/www/html/libtidy-5.4.0-1.el7.x86_64.rpm


9. SSH无密登陆

  •  在主机器执行 ssh-keygen -t rsa
  • 在master机器执行命令如：将公钥文件传输的其它机器，并生效
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh.local1.com
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh.local2.com
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh.local3.com

 

  • 验证免密登陆: ssh root@cdh.local.com，如果不需要输入密码，则免密登陆配置完成(注意，这时候你已经不在主服务器上，而是远程登陆到cdh1服务器上了，确保跳回主服务器再继续下面的操作)

10. 主服务器及所有节点安装JDK

  • 在usr目录下建立java安装目录， mkdir /usr/java
  • 进入刚建立的JAVA目录，cd /usr/java
  •  将java包FTP传到刚建立的java目录下，或从java 包所在位置拷贝到刚建立的java目录，如  cp /software/ jdk-8u162-linux-x64.tar.gz /usr/java/
  • 解压jdk到当前目录tar -zxvf jdk-8u162-linux-x64.tar.gz
  • 得到文件夹 jdk1.8.0_162
  • 将JAVA拷步到其它服务器 scp –r /usr/java/jdk1.8.0_162 root@cdh.local1.com:/usr/java/
scp –r /usr/java/jdk1.8.0_162 root@cdh.local1.com:/usr/java/
scp –r /usr/java/jdk1.8.0_162 root@cdh.local2.com:/usr/java/
scp –r /usr/java/jdk1.8.0_162 root@cdh.local3.com:/usr/java/


 11. SWAP 设置，CDH 推荐设置为10， vim /etc/sysctl.conf， 加入如下代码

vm.swappiness = 10

12. 设置本地HTTP  SERVER 安装CM

  • 在主服务器上安装HTTP SERVER
yum –y install httpd
  •  创建HTTP server 目录存放cm6 的文件， 如http://cdhm.test.com/cm6, 则创建如下目录
mkdir /var/cdh/cm6
  • 将https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/ 下载下来的所有文件及目录按原有的目录结构存放在刚建立的cm6 目录下
  •  使用浏览器访问 http://cdh.local.com/cm6 ，如果能看到刚下载的文件，表示HTTP已经配置好了，注意：如果浏览器不是在同一集群中，可能无法解释cdh.local.com. 这时需使用IP进行访问，比如  http://192.168.1.10/cm6
  • 设置 REPO，创建cloudera-repo.repo, vim /etc/yum.repos.d/cloudera-repo.repo, 内容如下：
[cloudera-repo]
name=cloudera-repo
baseurl=http://cdh.local.com/cm6
enabled=1
gpgcheck=0 

安装 cloudrea-manager

  • 安装CM6
  • 如果发现找不到安装包，有可能是HTTP 或者YUM REPO没设置好，请检查上一章节的步骤 10的全部内容
  • 设置 AUTO-TLS  自动认证，执行以下命令
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
sudo JAVA_HOME=/usr/java/jdk1.8.0_162 /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

注意：1、如果你安装的java 目录不是/usr/java/jdk1.8.0_162, 你需要把它改成你安装JAVA的路径；2、certmanager 是随cloudera-manager-agent安装的，如果进行AUTO-TLS时出错，请确认cloudera-manager-agent 安装成功

安装Mysql

  • 解压MySQL
  • 主服务器上安装MySQL
  • 删除InnoDB 文件
Sudo tar -zxvf MySQL-5.5.61-1.el7.x86_64.rpm-bundle.tar
Sudo rpm -ivh MySQL-server-5.5.60-1.el7.x86_64
mv /var/lib/mysql/ib_logfile0 /var/lib/mysql/ib_logfile0.bak
mv /var/lib/mysql/ib_logfile1 /var/lib/mysql/ib_logfile1.bak
  • 设置MySQL开机启动
systemctl enable mysqld
  • 启动MySQL
systemctl start mysqld
  • 初始化MySQL
sudo /usr/bin/mysql_secure_installation

注意：MySQL 的初始密码为空，如果需要输入旧密码时直接回车，如果需要设置新的密码，则在提示输入新密码时输入新密码，如果保留空密码，则直接回车，初始化步骤如下：
 
[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] Y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!

  • 登录MySQL,创建数据库和用户
mysql -u root -p
  • 创建数据库，在MySQL 中执行以下命令创建数据库并授权
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
  • 初始化Cloudera Manager 数据库， 执行以下命令
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

注意如果MySQL 安装在别的服务器上，则使用以下命令指定远程MySQL服务器地址, 下面的db.lcoal.com是远程MySQL 服务器的地址，cdh.lcoal.com 为安装CM的服务器地址
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h db.local.com --scm-host cdh.lcoal.com scm scm 

安装CDH 

  •  启动Cloudera manager
  •  等待cloudera manager启动完成，执行以下命令可以查看启动的状态
systemctl start cloudera-scm-server
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

当看到状态显示下面的语句，说明启动完成了！
INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

  • 登录Cloudera Manager, 使用浏览器访问  http://cdh.local.com:7180 , 这时候你应该能看到登录界面了！！！
  • 用户名admin, 密码 admin
  • 首先是欢迎页！
  • 第二步是确认是否已经设置了AUTO-TLS，如果已经在前面设置了，会看到如下的提示，然后进入下一步
  • 输入节点的列表，如果是连续的IP地址，可以像截图那样写，172.17.1.[142-145]，表示总共是4个节点，IP分别为142,143,144,145，点Search进行扫描，扫描成功后，进入下一步
  • 这里是指定安装包的位置，Cloudera Manager Agent 选择Custom Repository, 使用之前安装CM6的地址，如 http://cdh.local.com
  • 安装JDK， 前面的步骤已经安装JDK了，所以这里直接点下一步就可以了
  • 输入各节点的root 密码，注意: 所有节点的root 密码需一致，然后点击下一步就开始安装了！
  • 耐心等待安装完成
  • 安装完成后等待健康检查，检查没问题进入下一步
  • 指定节点模版，因为是新装的，所以没有模版，下一步就可以了
  • 执行设置脚本，这一步是对节点的某些role 进行配置，例如HBase, HDFS, Hive, MapReduce, and YARN，因为是新装并没有分配角色，所以配置无法执行，直接结束就好了
  • 添加服务及分配角色
  • 点击上方菜单Clusters-> Add Services
  • 根据不同的场景选择，默认为Essentials
  • 这是点击Esstials 方案后，系统自动为每个节点给了的角色分配方案，需根据实时项目情况调整，这里以默认为例，进入下一步
  • 这一步填入MYSQL所在的服务器，及对应数据库的名字，用户名及密码，然后点击下方的“TEST CONNECTION” 进行测试
  • 对节点的参数进行设置，本手册以默认配置作为示例
  •  这一步会对各节点进行设置，请耐心等待配置结束然后进入下一步
  • 到这一步说明节点配置引导已经全部完成了，点击“Finish”关闭

这时会返回主界面，并能查看各服务的状态，至此，CDH6 的安装完成！！！

注意:过程中可能存在误操作等，请报错后根据详细信息去定位解决问题即可，总体安装情况如上文。

 

柒嘴八舌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 3840
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 6980
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
cdh集群搭建(6.3)
前方的路在刚开始
07-19 3888
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
2024年大数据最新CDH集群6，大数据开发通用流行框架大全
最新发布
2401_84183669的博客
05-13 926
注意此处有坑：对于MySQL5.7高版本，启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常，原因是默认开启了SSL认证，相当于useSSL=true，解决方法就是在配置中添加skip-ssl重启MySQL服务，另外[mysqld_safe]配置项已废弃不用，以下的配置均已经过验证。用于各节点连接数据库，Cloudera要求必须创建在/usr/share/java目录下才能被组件使用。
【大数据集群搭建-CDH-（5）CDH环境搭建】CDH版本进行大数据集群各组件环境部署-（5）CDH环境搭建
weixin_53543905的博客
02-22 971
默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；如果提示ERROR JDBC Driver com.mysql.jdbc.Driver not found，需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 IO 的效率、提升文件系统的性能。
大数据之cdh集群安装
yaodunlin的博客
08-16 1450
安装cdh集群
CDH5.12&CDH6.0安装文档.zip
07-20
《CDH5.12与CDH6.0大数据集群安装指南》 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个全面的开源大数据平台，包含了Hadoop生态系统中的多个组件，如HDFS、MapReduce、YARN、...
CDH 集群安装流程
10-18
CDH集群搭建-cm5.11.1，包括cm包下载，cdh包下载，centos下载安装，时间同步，网络配置，免密ssh，防火墙配置，hostname，安装Cloudera Manager，数据库驱动，agent配置，parcels包放置，启动cm server 和 agent，...
CDH集群软件安装手册@20191118.docx
11-18
CDH集群软件安装手册 CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的商业发行版，旨在提供一个完整的、可扩展的大数据解决方案。 CDH集群软件安装手册是指安装和配置CDH集群的详细指南，本手册...
CDH集群部署.doc
03-21
1. MySQL安装：安装MySQL数据库，以存储集群的元数据。 2. Java安装：安装Java 1.7.0，以满足Hadoop的需求。 3. Hadoop安装：安装CDH 5.9.0版本的Hadoop，包括Hadoop 2.6.0等组件。 四、集群规划 1. 主机角色规划...
大数据集群cloudera CDH安装手册
12-19
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
安装CDH集群
weixin_35756690的博客
01-04 184
CDH(Cloudera Distribution for Hadoop)是一个由Cloudera公司发布的，包含了Apache Hadoop和很多其他开源软件的发行版。在安装CDH集群之前，你需要准备好若干台机器，每台机器上都需要安装操作系统(建议使用Linux)。 准备安装环境 确保所有机器已经安装了操作系统，并且可以通过SSH从远程终端登录。 在所有机器上安装Java 8或更高版本。C...
CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)
一只小白
09-13 1089
CDH在实际集群部署中，需要先搭建cm-server服务，然后在各个节点部署cm-agent服务。难点全部在cm-server服务搭建阶段和cm-agent环境初始化。后面涉及到大数据组建的搭建全部是在CDH页面操作，大家可以多摸索摸索使用。
Cloudera-manager搭建安装集群CDH6.2.0
qq_36306519的博客
04-27 673
Cloudera-manager搭建安装集群CDH6.2.0
CDH 6.3.2集群安装部署
Aidon博客
04-13 2897
首先，先说一下Cloudera公司，Cloudera公司提供了一个灵活的、可扩展的、容易集成和方便管理的平台，提供Web浏览器操作，容易上手。 CDH 6.3.2安装部署也也非常容易安装和操作。 本文是基于Centos 7 、MySQL 5.x 和 CDH 6.3.2来安装完成。
CDH集群测试和管理
互联网知识分享
05-22 196
下面的内容比较多，由于文章的字数有限制，所以只能截图了，需要下面文档的，可以在下方评论，或私信我，免费分享文件资料。
1000+节点的cdh集群主服务迁移全过程
涤生大数据
08-26 2106
由于种种原因，线上cdh集群的管理服务Cloudera Manager所在主机不能正常使用，Cloudera Manager相关的服务需要迁移到新的主机运行，且生产迁移不能影响任何生产环境的使用。
CDH-集群部署
L先生
12-07 1756
这里写目录标题一、前期准备1、集群准备1.1 准备三台设备1.2 修改三台设备的主机名1.3 修改IP地址（其他两台设备同时设置）2、系统环境搭建2.1 修改hosts域名映射2.1 免密登录2.3 防火墙、selinux关闭2.4 安装JDK2.5 安装NTP(只需要在cdh1)2.6 修改系统参数（cdh1）2.7 安装httpd3、下载第三方依赖包（每台都装）4、安装MySQL（cdh3）4.1首先查看自己的集群中是否安装mysql数据库4.2 依次安装4.3 进入mysql数据库![在这里插入图片描
cdh6.0安装部署
weixin_40700855的博客GJB
08-06 1017
1.环境准备 1.1.安装包 下载地址：https://archive.cloudera.com/cdh6/6.0.1/parcels/ https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/ 安装包清单： 系统和iso镜像： 1.2.物理机或虚拟机 cdh集群至少三台物理机或虚拟机，各主机内存在16G以上； 使用虚拟机搭...
Redhat7.6安装CDH6.3.3.pdf
11-16
本文档详细介绍了在Red Hat 7.6操作系统环境下安装CDH 6.3.3大数据集群的步骤。由于CDH 6.3.3是2020年2月4日发布的版本，自此以后，Cloudera不再提供免费的CDH版本，用户需通过试用或购买许可证来获取安装包和使用权...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

柒嘴八舌

你的鼓励将是我创造最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值