离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(二)基础环境安装
一、安装CentOS 6.5 x64
具体安装过程自行百度
1.1 修改IP地址
[root@master ~]# vi /etc/sysconfig/network
具体安装过程自行百度
[root@master ~]# vi /etc/sysconfig/network
DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.181 NETMASK=255.255.255.0 GATEWAY=192.168.1.1
[root@master ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules
[root@master ~]# vi /etc/sysconfig/network
NETWORKING=yes HOSTNAME=master
[root@master ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.1.181 master 192.168.1.182 slave1 192.168.1.183 slave2
[root@master ~]# mkdir /root/soft
使用xftp上传
[root@master soft]# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/
[root@master soft]# vi /etc/profile
最文件最后添加以下内容:
#JAVA_HOME export JAVA_HOME=/opt/jdk1.8.0_151 export PATH=$PATH:$JAVA_HOME/bin
修改完之后,使profile文件重新生效一下
[root@master soft]# source /etc/profile
[root@master soft]# java -version java version "1.8.0_151" Java(TM) SE Runtime Environment (build 1.8.0_151-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)
对安装阶段将防火墙暂时关闭,所有安装软件安装完成之后再单独机器做安全策略。需要在每台机器上执行以下命令:
#关闭防火墙 [root@master soft]# service iptables stop #设置防火墙开机自动关闭 [root@master soft]# chkconfig iptables off
#临时关闭命令 [root@master soft]# setenforce 0 #修改配置文件(重启生效) [root@master soft]# vi /etc/selinux/config
SELINUX=disabled
[root@master ~]# ssh-keygen -t rsa
中间3次回车
slave1机器上执行
[root@slave1 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave1 .pub
slave2机器上执行
[root@slave2 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave2.pub
在master上执行
#进入/root/.ssh目录 [root@master ~]# cd .ssh/ #复制master生成的公钥到authorized_keys [root@master .ssh]# cat id_rsa.pub >> authorized_keys #复制slave1生成的公钥到authorized_keys [root@master .ssh]# cat slave1.pub >> authorized_keys #复制slave2生成的公钥到authorized_keys [root@master .ssh]# cat slave2.pub >> authorized_keys
#发送到slave1服务器 [root@master .ssh]# scp -r authorized_keys slave1:$PWD #发送到slave2服务器 [root@master .ssh]# scp -r authorized_keys slave2:$PWD
第一次登录会要求输入yes确认一下,之后就可以直接进行登录。所以机器都要进行登录一遍
[root@master .ssh]# ssh master [root@master .ssh]# ssh slave1 [root@master .ssh]# ssh slave2
/mnt/dvd1和/mnt/dvd2 用于挂载CentOS镜像
/mnt/dvd3 用于合并后的镜像
/mnt/iso ISO镜像存储
[root@master ~]# mkdir -p /mnt/dvd1 /mnt/dvd2 /mnt/dvd3 /mnt/iso
使用xftp进行上传
[root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD1.iso /mnt/dvd1/
[root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD2.iso /mnt/dvd2/
首先,拷贝DVD1中的所有文件到/mnt/dvd3目录下,然后,只拷贝DVD2中Packages目录下的所有rpm文件到/mnt/dvd3/Packages目录下
[root@master iso]# cp -av /mnt/dvd1/* /mnt/dvd3/
[root@master iso]# cp -v /mnt/dvd2/Packages/*.rpm /mnt/dvd3/Packages/
将DVD2中的TRANS.TBL文件的信息追加到DVD1中的TRANS.TBL后面,并排序保存
[root@master iso]# cat /mnt/dvd2/Packages/TRANS.TBL >> /mnt/dvd3/Packages/TRANS.TBL [root@master iso]# mv /mnt/dvd3/Packages/{TRANS.TBL,TRANS.TBL.BAK} [root@master iso]# sort /mnt/dvd3/Packages/TRANS.TBL.BAK > /mnt/dvd3/Packages/TRANS.TBL [root@master iso]# rm -rf /mnt/dvd3/Packages/TRANS.TBL.BAK
dvd3已经是合并后的文件了,可以用作本地源和做成ISO使用。
[root@master ~]# cd /etc/yum.repos.d/ #创建一个bak文件夹 [root@master yum.repos.d]# mkdir bak #将所有的.repo文件移动到bak文件夹里面 [root@master yum.repos.d]# mv *.repo bak
[root@master yum.repos.d]# vi /etc/yum.repos.d/CentOS-Media.repo
[CentOS-Local] name=CentOS-Local baseurl=file:///mnt/dvd3 gpgcheck=0 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
[root@master yum.repos.d]# yum clean all
[root@master yum.repos.d]# yum repolist
[root@master ~]# yum install -y httpd
#查看httpd运行状态 [root@master ~]# service httpd status #启动httpd [root@master ~]# service httpd start
[root@master ~]# mkdir /var/www/html/centos6.5 #创建一个软连接指向dvd3 [root@master ~]# ln -s /mnt/dvd3/ /var/www/html/centos6.5/
看是否能访问到/mnt/dvd3里面的东西
访问地址:http://192.168.1.181/centos6.5/
[root@master ~]# vi /etc/yum.repos.d/CentOS-Media.repo
[CentOS-Local] name=CentOS-Local #baseurl=file:///mnt/dvd3 baseurl=http://192.168.29.181/centos6.7/dvd3 gpgcheck=0 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
[root@master ~]# yum clean all
[root@master ~]# yum repolist
如下即为成功:
已加载插件:fastestmirror, security Determining fastest mirrors CentOS-Local | 4.0 kB 00:00 CentOS-Local/primary_db | 4.6 MB 00:00 仓库标识 仓库名称 状态 CentOS-Local CentOS-Local 6,575 repolist: 6,575
[root@master ~]# cd /etc/yum.repos.d/
[root@master yum.repos.d]# scp -r CentOS-Media.repo slave1:$PWD
[root@master yum.repos.d]# scp -r CentOS-Media.repo slave2:$PWD
命令详见6.14
[root@master ~]# yum install -y ntp
#查看服务器时间 [root@master ~]# date 2018年 08月 03日 星期日 00:53:02 CST #修改时间 [root@master ~]# date -s 16:59:01 #把系统时间写入CMOS [root@master ~]# clock –w #修改ntp配置文件 [root@master ~]# vi /etc/ntp.conf
在“server 3.centos.pool.ntp.org iburst”后追加以下内容:
server 192.168.1.181 restrict 192.168.1.181 nomodify notrap noquery server 127.127.1.0 fudge 127.127.1.0 stratum 10
[root@slave1 ~]# vi /etc/ntp.conf
server 192.168.1.181 server 127.127.1.0 fudge 127.127.1.0 stratum 10
#启动ntpd服务 [root@master ~]# service ntpd start #设置开机自启 [root@master ~]# chkconfig ntpd on
#先同步master服务器上的时间 [root@slave1 ~]# ntpdate master #启动ntpd服务 [root@slave1 ~]# service ntpd start #设置开机自启 [root@slave1 ~]# chkconfig ntpd on
[root@slave1 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate 192.168.1.181
注意:如果服务器时间不同步,集群运行将出现各种各样的问题
所有节点都需要安装
[root@master ~]# yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb –y
#临时修改 [root@master cloudera]# sysctl -w vm.swappiness=0 #永久修改 [root@master cloudera]# echo "vm.swappiness=0" >> /etc/sysctl.conf