在centos7 安装 CDH6.0.1

最新推荐文章于 2024-05-05 07:53:24 发布

我独饮晚风作酒

最新推荐文章于 2024-05-05 07:53:24 发布

阅读量4.7k

点赞数 7

本文链接：https://blog.csdn.net/Sky_WANGJ/article/details/84030458

版权

在centos7 安装 CDH6.0.1

官方安装教程
https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html

介绍

是在个人PC机上，用虚拟机来装CDH的。毕竟服务器那玩意儿暂时太贵，玩不起。何况也是自己拿来熟悉CDH平台的，也没有必要买云服务器。

安装前的准备

环境：Centos7 64位， CDH6.0.1;
至少准备三台虚拟机;

192.168.237.145 cdh.145.sky Server+agent
192.168.237.146 cdh.146.sky agent
192.168.237.147 cdh.147.sky agent
建议：

3台机器，内存最好不低于10G，硬盘空间最好大于50G。
内存太低了的话，后面在启动集群过程中，可能会显示out of memory而导致组件启动失败。

开始安装

配置 hostname（完全限定的域名（FQDN））以及免密登陆（所有主机）

sudo hostnamectl set-hostname cdh.145.sky
编辑 /etc/hosts 文件使用群集中每个主机的IP地址和完全限定的域名（FQDN）

192.168.237.145 cdh.145.sky
192.168.237.146 cdh.146.sky
192.168.237.147 cdh.147.sky
配置免密登陆（所有主机）

ssh-keygen
ssh-copy-id root@cdh.145.sky
禁用防火墙和selinux（所有主机）

查看防火墙：systemctl status firewalld.service 绿的表示防火墙开启。
执行关闭命令：systemctl stop firewalld.service
执行开机禁用防火墙命令：systemctl disable firewalld.service

关闭selinux：
vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
安装Java（所有主机）

centos7 自带OpenJdk，我们需要卸载并且安装Oracle的。
在下载 Cloudera Manager 包的时候，里边包含Java的rpm包，直接用这个进行默认安装就可以。
oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

网速好的话，也可以在线安装
yum install oracle-j2sdk1.8

默认安装路径
/usr/java/jdk1.8.0_141-cloudera
安装NTP（所有主机）
1. yum -y install ntp
  编辑 /etc/ntp.conf 文件添加NTP服务器
  server 0.pool.ntp.org
  server 1.pool.ntp.org
  server 2.pool.ntp.org
2. 启动ntp
  systemctl enable ntpd
  systemctl start ntpd
3. 同步节点
  ntpdate -u 0.pool.ntp.org
4. 同步系统时钟
  hwclock --systohc
安装cloudera manager包

Master节点：
yum -y install cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server

Node节点：
yum -y install cloudera-manager-agent cloudera-manager-daemons

本地安装：
（网络好的话，可以忽略此步骤。）
cloudera-manager-agent-6.0.1-610811.el7.x8664.rpm
cloudera-manager-daemons-6.0.1-610811.el7.x8664.rpm
cloudera-manager-server-6.0.1-610811.el7.x8664.rpm
先安装 cloudera-manager-daemons-6.0.1-610811.el7.x8664.rpm 再安装其他的。
启用Auto-TLS以自动创建证书：（Master）

JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera /opt/cloudera/cm-agent/bin/certmanager --location /opt/cloudera/CMCA setup --configure-services
安装mysql（Master）
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-community-release-el7-5.noarch.rpm
yum -y update
yum -y install mysql-server

*.Move old InnoDB log files /var/lib/mysql/iblogfile0 and /var/lib/mysql/iblogfile1 out of /var/lib/mysql/ to a backup location.
rm -rf /var/lib/mysql/ib_logfile0 /var/lib/mysql/ib_logfile1
1. 启动mysql
  systemctl enable mysqld
  systemctl start mysqld
2. 初始化Mysql
  /usr/bin/mysql_secure_installation
[...] Enter current password for root (enter for none): OK, successfully used password, moving on... [...] Set root password? [Y/n] Y New password:root Re-enter new password:root Remove anonymous users? [Y/n] Y [...] Disallow root login remotely? [Y/n] N [...] Remove test database and access to it [Y/n] Y [...] Reload privilege tables now? [Y/n] Y All done!
安装MySQL JDBC驱动程序

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

tar zxvf mysql-connector-java-5.1.46.tar.gz

cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
必须配置数据库以支持MySQL UTF8 字符集编码。

mysql -u root -p root

create database scm default character set utf8 default collate utf8_general_ci; grant all on scm.* to 'scm'@'%' identified by 'root'; create database amon default character set utf8 default collate utf8_general_ci; grant all on amon.* to 'amon'@'%' identified by 'root'; create database rman default character set utf8 default collate utf8_general_ci; grant all on rman.* to 'rman'@'%' identified by 'root'; create database hue default character set utf8 default collate utf8_general_ci; grant all on hue.* to 'hue'@'%' identified by 'root'; create database metastore default character set utf8 default collate utf8_general_ci; grant all on metastore.* to 'hive'@'%' identified by 'root'; create database sentry default character set utf8 default collate utf8_general_ci; grant all on sentry.* to 'sentry'@'%' identified by 'root'; create database nav default character set utf8 default collate utf8_general_ci; grant all on nav.* to 'nav'@'%' identified by 'root'; create database oozie default character set utf8 default collate utf8_general_ci; grant all on oozie.* to 'oozie'@'%' identified by 'root'; flush privileges;
禁用透明大页面压缩

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

并将上面的两条命令写入开机自启动
vim /etc/rc.local
优化交换分区

vim /etc/sysctl.conf

vm.swappiness = 10

sysctl -p /etc/sysctl.conf
设置Cloudera Manager数据库

mysql在本地时执行：
rm -rf /etc/cloudera-scm-server/db.mgmt.properties
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
启动Cloudera Manager Server

设置Cloudera Manager数据库后，启动Cloudera Manager Server，然后登录Cloudera Manager Admin Console：

启动Cloudera Manager Server：
systemctl start cloudera-scm-server

可以查看启动日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

看到此条信息，说明启动完成
INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

将CHD6相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中，如果没有此目录，可以自己创建。（如果是在线安装，那么此步骤可以忽略。）

注意：
最后将CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256，重命名为CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha，这点必须注意，否则系统会重新下载CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel。
登录

在Web浏览器中，转到 http://cdh.145.sky:7180，其中域名是运行Cloudera Manager Server的主机的FQDN或IP地址。

如果有启用自动TLS，则会重定向到https:cdh.145.sky:7183，并显示安全警告。你可能需要表明你信任该证书，或单击以继续执行Cloudera Manager Server主机。

登录Cloudera Manager Admin Console。默认凭据为：
Username: admin
Password: admin
在CM管理界面，按照操作一步一步进行操作即可。

安装完成界面：
如果部署失败，可以卸载删除Cloudera Manger环境，重新部署。

systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent

yum -y remove 'cloudera-manager-*'

yum clean all

umount cm_processes
umount /var/run/cloudera-scm-agent/process

rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
rm -rf /tmp/.scmpreparenode.lock
rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper
rm -Rf datadrivepath/dfs datadrivepath/mapred datadrivepath/yarn

systemctl stop mysqld

yum -y remove mysql
rm -rf /var/lib/mysql
rm -rf /var/log/mysqld.log
rm -rf /var/lib/mysql/mysql
rm -rf /usr/lib64/mysql
rm -rf /usr/share/mysql
rm -rf /opt/cloudera

rpm -qa | grep -i mysql
卸载MySQL相关的文件。

写在结尾

文章若有不对之处，敬请谅解，欢迎指出，共同学习进步。

我独饮晚风作酒

关注

7
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
在centos7 安装 CDH6.0.1

在centos7 安装 CDH6.0.1官方安装教程https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html相关包下载Cloudera Manager下载地址：https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x...
复制链接

扫一扫