Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)

最新推荐文章于 2023-09-10 18:56:43 发布

哈尔科夫扫地僧

最新推荐文章于 2023-09-10 18:56:43 发布

阅读量672

点赞数

1.基础环境

1.1. 软件环境

系统环境:CentOS-7-x86_64-Minimal-1804.iso,离线安装CDH和Cloudera Manager过程,软件版本如下:

NO.	软件名称	版本
1	操作系统	CentOS-7-x86_64-Minimal-1804.iso
2	JDK
3	Clouder Manager
4	CDH
5	数据库
6	JDBC

1.2. 配置规划

本次安装在7台服务器上,服务器相关情况如下:

NO.	服务器	内网IP地址	配置	用途
1	node00	172.16.2.100		主节点,CM,Mysql
2	node01	172.16.2.112		从
3	node02	172.16.2.129		从
4	node03	172.16.2.134		从
5	node04	172.16.2.144		从
6	node05	172.16.2.159		从
7	node06	172.16.2.161		从

1.3.1 所需要的软件资源:

JDK环境：

JDK版本：1.8.0_151

jdk-8u151-linux-x64.rpm

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

CM包：

CM版本：5.13.1

cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

下载地址：http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

CDH包

CDH版本：5.13.1，

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；

manifest.json

下载地址：

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/manifest.json

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

JDBC连接jar包：

jar包版本：5.1.43，

mysql-connector-java-5.1.43.jar

下载地址：http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar

1.4. 修改服务器名称(所有的节点)

#查看服务器名称

hostname

#修改服务器名称

vi /etc/hostname

#或者下面这种方式

hostnamectl set-hostname xxx

#修改hosts配置文件

vi /etc/hosts

127.0.0.1 localhost //建议保留这行

1.5. 设置服务器防火墙

#查看防火墙状态
firewall-cmd --state
#开启防火墙
systemctl start firewalld.service
#关闭防火墙
systemctl stop firewalld.service
#禁止防火漆开机启动
systemctl disable firewalld.service

设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：
//集群机器间可以相互访问
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node00' port protocol='tcp' port='0-65535' accept"
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node01' port protocol='tcp' port='0-65535' accept"
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node02' port protocol='tcp' port='0-65535' accept"
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node03' port protocol='tcp' port='0-65535' accept"
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node04' port protocol='tcp' port='0-65535' accept" 
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node05' port protocol='tcp' port='0-65535' accept" 
firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='node06' port protocol='tcp' port='0-65535' accept" 
//设置可以访问的端口
firewall-cmd --permanent --add-port=0-65535/tcp
firewall-cmd --reload
注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

1.6. 配置免密登录SSH

#cd ~/.ssh
#ssh-keygen -t rsa 
#三次回车键之后会生成无密码的钥匙对
#拷贝公钥至各个节点实现免密登录
#ssh-copy-id root@node00
#下面根据提示配置完成yes和节点密码

1.7. 关闭SELIUX(在所有的节点上面)

#查看是否关闭SELINUX
sestatus
#临时生效
setenforce 0
#永久生效
vi /etc/selinux/config
SELINUX=disabled
#需要重启才能生效,这一步暂时不用重启,后面的步骤也需要重启

1.8. 修改Linux内核参数(所有的节点)

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

================================================================
1)	设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为 10：
//查看swappiness
# cat /proc/sys/vm/swappiness
//永久性修改，执行下面两条命令
# sysctl -w vm.swappiness=10
# echo vm.swappiness = 10 >> /etc/sysctl.conf 

=================================================================

2)	关闭透明大页面：
自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用：
# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
以上状态就说明是启用的。
临时关闭（重启机器会变回默认开启状态）：
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
#echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久关闭：
//编辑/etc/rc.d/rc.local
# vi /etc/rc.d/rc.local
//在文件后添加下面内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

保存退出，然后赋予rc.local文件执行权限：
#chmod +x /etc/rc.d/rc.local
重启系统，以后再检查THP状态，显示状态被禁用了。
===============================================================
3)	修改文件句柄数：
修改系统文件句柄数限制：
//查看文件句柄数，显示1024，显然太小
# ulimit -n 
1024
//修改限制
#vi /etc/security/limits.conf 
//在文件后加入下面内容：

* soft nofile 100000
* hard nofile 100000

修改后需要重启机器。

1.9. 其他安装与配置(所有的节点)

为避免安装过程中出现异常问题，安装相关依赖包：
# yum  -y  install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security  x86_64 spax time zlib-devel
#yum install -y python-lxml
#yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel

# chmod +x /etc/rc.d/rc.local
# yum -y install rpcbind
# systemctl start rpcbind
# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local

1.10. 配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体建设过程如下：
所有节点安装相关组件：
# yum install  ntp  ntpdate  -y
NTP服务端（主节点）：
1)	查找时间同步服务器http://www.pool.ntp.org/zone/asia：

2)	编辑 /etc/ntp.conf：
# vi /etc/ntp.conf
//在文件中输入上面网页内容：

server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org

3)	启动ntp服务：
# systemctl start  ntpd
4)	配置开机启动：
# systemctl enable  ntpd.service  
注意：如果ntpd 开机启动失效，有可能是因为安装了chronyd 并且是开机自启状态，所以导致ntpd开机自启失败。

# 查看  chronyd设置状态
# systemctl status chronyd

将chronyd设为禁用状态：
# systemctl disable chronyd.service
此时，NTP的服务开机自启动完成！ 
5)	检查是否设置成功：
# ntpq  -p
//更新时间
#timedatectl 

NTP客户端（所有从节点）：
6)	远程客户端时间同步测试
# date
# ntpdate 172.16.3.168
	172.16.3.168是NTP服务端IP，显示如下信息，测试成功：
 
7)	客户端设置计划任务，每30分钟同步时间
#crontab -e 
//加入内容：
0-59/30 * * * * /usr/sbin/ntpdate 172.16.3.168 && /sbin/hwclock -w
8)	设置定时任务开机启动
//设置开机启动
# systemctl enable crond.service

//查看状态
# systemctl status crond

1.11. 安装jdk8

下载rpm 安装包jdk-8u151-linux-x64.rpm 

CentOS系统一般自带OpenJdk，需要卸载掉自带的OpenJdk

# rpm -qa | grep java

查询java相关的包

# rpm -e –nodeps +包名

强制卸载掉，下面安装oralce JDK

# rpm -ivh jdk-8u151-linux-x64.rpm

配置JAVA_HOME环境变量：

修改/etc/profile文件配置环境变量，  执行命令：
# vi /etc/profile   
在profile文件最后，输入下面内容，保存并退出。
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin 
执行下面命令，让配置生效
# source /etc/profile   //使修改立即生效
# echo $PATH   //查看PATH值
# echo $JAVA_HOME   //查看JAVA_HOME值
	在Centos7中修改/etc/profile文件配置环境变量，机器启动后有时不生效，可以修改/etc/ bashrc文件配置环境变量：
# vi /etc/bashrc 
//在文件最后加入：
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin 
//使修改立即生效
# source /etc/bashrc 
//查看JAVA_HOME值
# echo $JAVA_HOME

1.12. Mysql的安装(仅主节点)

如果安装时出现问题可根据提示修改,rpm安装时可 --nodeps(忽略关联包) --force(强制安装)

到官网https://dev.mysql.com/downloads/file/?id=469456选择对应安装包：
1)	下载安装包
#wget https://cdn.mysql.com//archives/mysql-5.7/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
2)	解压安装包
# tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
//解压后文件列表：
mysql-community-embedded-devel-5.7.18-1.el7.x86_64.rpm
mysql-community-devel-5.7.18-1.el7.x86_64.rpm
mysql-community-client-5.7.18-1.el7.x86_64.rpm
mysql-community-common-5.7.18-1.el7.x86_64.rpm
mysql-community-embedded-5.7.18-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-5.7.18-1.el7.x86_64.rpm
mysql-community-server-minimal-5.7.18-1.el7.x86_64.rpm
mysql-community-test-5.7.18-1.el7.x86_64.rpm
mysql-community-minimal-debuginfo-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
3)	按次序安装
按common–>libs–>client–>server的顺序安装：
# rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm 

//安装下面包，否则Hue安装报连接错误
# rpm -ivh  mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
	
4)	启动数据库
# systemctl start mysqld 
查看状态： 
# systemctl status mysqld
	
5)	修改MySQL初始密码
1、先修改配置文件/etc/my.cnf令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：
skip-grant-tables
2、重启MySQL
#service mysqld restart
3、免密码登录MySQL。
#mysql
4、mysql客户端执行如下命令，修改root密码
mysql>  use mysql;
mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user = 'root';
mysql> select host,user, authentication_string, password_expired from user; 
mysql> update user set password_expired='N' where password_expired='Y' //密码不过期
mysql> update user set host='%' where user='root' and host='localhost'; //远程可访问
mysql> flush privileges; //刷新
mysql> exit;//退出

5、修改配置文件/etc/my.cnf删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)
#service mysqld restart //重启 Mysql

2. 安装CM

2.1. 上传包和解包

在主节点上下载相关软件包，这里将软件包下载到/data/ cdh/目录下。
#cd /data/cdh
下载Mysql JDBC包：
#wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar
下载CM：
#wget http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz 
下载CDH：
#wget http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/manifest.json
#wget http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1
#wget http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel
将CM解压到/opt/目录：
# tar -zxvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz  -C /opt/
# ls /opt/
cloudera  cm-5.13.1

2.2. 创建数据库

在主节点上：
# mysql -h127.0.0.1 -uroot -p   //加参数-h127.0.0.1 指定本机方式，否则可能不允许执行grant
Enter password:          \\输入数据库密码
//在MariaDB [(none)]>命令状态输入下面脚本：
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to root@localhost identified by 'root' with grant option;
grant all on *.* to root@"%" Identified by "root";
flush privileges;
exit;
//复制Mysql JDBC包到/opt/cm-5.13.1/share/cmf/lib/目录
#cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/
//初始化CM，执行下面脚本
# /opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode168 -uroot -proot --scm-host node168 scm scm scm
//如果出现下面错误：
java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)
//解决办法：
在/etc/hosts 文件中，加上
127.0.0.1 localhost.node168

哈尔科夫扫地僧

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)

1.基础环境1.1. 软件环境系统环境:CentOS-7-x86_64-Minimal-1804.iso,离线安装CDH和Cloudera Manager过程,软件版本如下:NO. 软件名称版本 1 操作系统 CentOS-7-x86_64-Minimal-1804.iso 2 JDK 3 Clouder Manager ...
复制链接

扫一扫