uname -a 查看服务器版本
Linux datanode1 3.10.0-693.2.2.el7.x86_64 #1 SMP Tue Sep 12 22:26:13 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
选择对应的CDH 安装包
http://archive.cloudera.com/cm5/cm/5/
http://archive.cloudera.com/cdh5/parcels/5.14/
lsb_release -a 查看系统版本,选择对应的Cloudera Manager
LSB Version: :core-4.1-amd64:core-4.1-noarch
Distributor ID: CentOS
Description: CentOS Linux release 7.4.1708 (Core)
Release: 7.4.1708
Codename: Core
安装上传下载文件程序
yum -y install lrzsz
wget 是一个从网络上自动下载文件的自由工具
wget 资源链接
CM的安装:
1.网络配置(所有节点)
1.1修改hostname
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=sparkmaster
1.2. 修改 ip 与主机名的对应关系
vi /etc/hosts
10.10.0.126 node1
10.10.0.8 node2
10.10.0.127 node3
2. 设置 ssh 无密码登陆
在主节点上执行
1.ssh-keygen -t rsa
一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:
2.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
,并设置 authorized_keys 的访问权限:
chmod 600 ~/.ssh/authorized_keys
3.scp 文件到所有 datenode 节点:
4.scp ~/.ssh/authorized_keys root@nodexx:~/.ssh/
注意:这里需要将各节点之间的免密登录都进行配置,包括自己到自己的免密登录
2.2JDK 环境安装
#上传 jdk 安装包
jdk-8u65-linux-x64.tar.gz
#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz -C /opt
#配置环境变量 /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile
备注:
最好选择rpm软件包的安装方式好处有二。
第一:rpm安装的默认路径即是CDH安装时会去寻找jdk的路径,否则在CM的安装中会报错。
(如果用tar包手动的方式安装可以创建软连接 进入/usr/java目录[没有就手动创建之]:
ln -s你的jdk安装目录 /usr/java/default,运用此方法别忘记手动配置环境变量)
第二:rpm安装会自动创建环境变量。
2.3 安装mysql
a. 检查MySQL及相关RPM包,是否安装,如果有安装,则移除(rpm –e 名称)
1 [root@localhost ~]# rpm -qa | grep -i mysql
2 mysql-libs-5.1.66-2.el6_3.x86_64
3 [root@localhost ~]# yum -y remove mysql-libs*
b. 下载Linux对应的RPM包,如:CentOS6.4_64对应的RPM包,如下:
1 [root@localhost rpm]# ll
2 total 74364
3 -rw-r--r--. 1 root root 18442536 Dec 11 20:19 MySQL-client-5.6.1