1. CDH的下载
以CentOS7.5和CDH5.7.0举例:
1.1. cm的tar包下载
下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz
请选择需要的版本。
1.2. parcels包下载
下载地址:http://archive.cloudera.com/cdh5/parcels/5.7.0/
请选择对应的版本,el7,并将后缀.sha1更改为.sha。
1.3.安装JDK(所有服务器都用)
- 创建文件夹
mkdir -p /usr/local/src/jdk
cd /usr/local/src/jdk
-
查看安装程序
rpm -qa | grep -i jdk
若之前安装过jdk,下次安装一定把之前的删除干净
-
下载jdk包
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
vi /etc/resolv.conf,编辑dns服务器,nameserver 114.114.114.114(这是国内的dns服务器系统,还是比较好用的。谷歌的可以使用8.8.8.8)
如果报错-bash: wget: command not found。执行命令
-
yum -y install wget
-
解压
tar -zxvf jdk-8u131-linux-x64.tar.gz
重命名
mv jdk1.8.0_131 jdk1.8
-
配置环境变量
vi /etc/profile
拉到最下面将以下代码粘贴进去
export JAVA_HOME=/usr/local/src/jdk/jdk1.8 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
wq保存退出执行以下命令让它生效
source /etc/profile
java -version验证是否生效
2. 准备工作,没有特别说明所有服务器都要做
-
主机重命名并配置hosts
执行命令 echo "bigdata0*.tfpay.com" > /etc/hostname echo "192.168.99.57 bigdata01.tfpay.com bigdata01" >> /etc/hosts echo "192.168.99.58 bigdata02.tfpay.com bigdata02" >> /etc/hosts echo "192.168.99.59 bigdata03.tfpay.com bigdata03" >> /etc/hosts 重启 reboot 检查,看看主机名称是否更改 hostname
-
关闭防火墙,并重启服务器使hostname和selinux的配置生效
systemctl stop firewalld systemctl disable firewalld systemctl status firewalld sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config reboot getenforce sestatus -v
-
安装NTP同步时间
在所有节点都执行命令yum -y install ntp vi /etc/ntp.conf
- 注释掉所有server后
-
主节点加入: server ntp.api.gz iburst 从节点加入: server 192.168.99.57 iburst 添加完成所有节点执行: systemctl start ntpd systemctl enable ntpd
-
安装Mysql(主服务器做就可以)
#安装MySQL前先写着系统自带的数据库 rpm -qa |grep mariadb yum –y remove 查找出的数据库 #直接使用yum命令安装MySQL yum install mysql yum install mysql-server yum install mysql-devel #此时安装mysql-server时会出错,应该先去官网下载再进行安装 wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server #重启MySQL服务,并进入MySQL数据库内部,此时不需要密码就能进入 service mysqld restart mysql -u root mysql> set password for 'root'@'localhost' =password('password'); #远程连接设置(后面的root为密码) grant all privileges on *.* to 'root'@'%' identified by 'root'; flush privileges; #MySQL的安装还可以参考如下网址 https://www.cnblogs.com/starof/p/4680083.html https://www.cnblogs.com/fujiangong/p/5620050.html https://blog.csdn.net/u010936936/article/details/81939880
- 配置SSH无密码登陆
#生产密钥 ssh-keygen -t rsa
复制公钥cd ~/.ssh/ cp id_rsa.pub authorized_keys # 下面的命令是把其他主机的公钥复制到本机 ssh-copy-id -i bigdata01 ssh-copy-id -i bigdata02 ssh-copy-id -i bigdata03
所有节点互相配置,自身不需配置,最后ssh其他节点直接进去则成功
-
环境配置就完成了,下文配置CDH