Centos6.7下搭建CDH(中）

1.centos6系列更换阿里yum源

1. 首先备份原来的cent os官方yum源
   cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
2. 获取阿里的yum源覆盖本地官方yum源
   wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
3. 清理yum缓存，并生成新的缓存
   yum clean all
yum makecache
4. 安装http(如果已经安装省略)
   网络镜像需要通过http请求访问，因此需要安装httpd
   yum install httpd
5. 安装createrepo(如果已经安装省略)
   该软件使用来生成http镜像的网络识别路径的
   yum install createrepo

2. 私有网络软件仓库

在集群安装的过程中，要求每个节点都必须挂载光驱， 而对于每台节点都手动的去挂载光驱太麻烦，也不方便。这里使用每个节点都指向同一个私有网络镜像来解决这个问题。
我们的集群采用的是全离线安装，也不可能逐个节点的安装，同样是也使用指向同一个私有的网络软件包来解决。
因此选择在cdh01上搭建一个私有的网络软件仓库，以下是搭建的全过程。

2.1 上传镜像

搭建私有网络镜像使用的镜像文件最好就使用安装系统的镜像，这里是选择了CentOS6.7x64的镜像，将其上传到cdh01的/disk下（需新建/disk目录）。

2.2 挂载镜像

首先创建文件夹 /media/CentOS ：

mkdir -p /media/CentOS 

挂载镜像：

mount -o loop /disk/CentOS-6.7-x86_64-bin-DVD1.iso /media/CentOS/

进入目录/etc/yum.repos.d

cd /etc/yum.repos.d

修改CentOS-Base.repo的名称：

mv CentOS-Base.repo CentOS-Base.repo.bak

修改CentOS-Media.repo文件：

vim CentOS-Media.repo

将enable=0改成enable=1

清除yum的缓存：

yum clean metadata
yum clean dbcache

查看是否挂载成功：

yum list | wc -l 

这是统计镜像中有多少个软件包的命令，CentOS6.7x64位的系统的软件包个数一般在3000以上

2.3 安装http

如果已经安装可以省略，但是需要启动，一b般最小化安装不会安装此服务

检查是否安装

启动http服务，并让其开机自启：

service httpd start
chkconfig httpd on

由于http的默认端口为80，通过浏览器访问：
192.168.72.201:80

出现上图表示安装和启动已经全部成功了。

创建网络软件仓库目录：

mkdir –p /var/www/html

http默认将上面的目录作为软件仓库的目录

2.4 安装createrepo(如果已经安装省略)

该软件使用来生成http镜像的网络识别路径的：

yum –y install createrepo

出现上图表示安装成功了。
到此 私有的网络软件仓库搭建完成。

2.5 挂载网络系统镜像

2.5.1 创建网络系统镜像

将从镜像中挂载的文件拷贝到软件仓库的目录中

cp -r /media/CentOS /var/www/html/

拷贝完后，该目录文件列表如下，即表示拷贝完成。

删除目录repodata

cd /var/www/html/CentOS
rm -rf ./repodata

生成新的软件路径目录repodata

createrepo .

输出如上图即表示创建新的软件路径目录repodata完成，此时的CentOS的目录文件如下：

我们也可以通过网络访问查看：

到此网络镜像创建成功。

2.6 使用网络系统镜像

解除对镜像文件的挂载：

umount /media/CentOS

如上图 ，目录下无文件则说明解除挂载成功。

如果出现下图说明有进程在占用挂载点

出现这种情况，表示还有进程在使用/medis/CentOS挂载点，那么此时可以借助fuser命令找出占用目录/medis/CentOS的所有进程，然后kill掉，此时就可以umount 了

修改文件CentOS-Media.repo让其指向刚才创建的网络镜像

vim /etc/yum.repos.d/CentOS-Media.repo

修改如下:

清楚yum的缓存， 并查看软件包个数

yum list | wc -l 

到此，hadoop-4网络系统镜像挂载完成，可以将镜像文件删除了。

2.7 子节点挂载网络镜像

将主节点的 /etc/ yum.repos.d下的CentOS-Media.repo文件分发到各子节点的目录
/etc/ yum.repos.d下：

scp -r /etc/yum.repos.d/CentOS-Media.repo cdh02:/etc/yum.repos.d/ 
scp -r /etc/yum.repos.d/CentOS-Media.repo cdh03:/etc/yum.repos.d/

在所有子节点执行如下命令：使其base.repo失效

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

子节点再清除yum的缓存，查看网络镜像软件包的个数

yum list | wc -l 

到此，子节点网络镜像挂载完成。

2.8 关闭防火墙

所有节点都得关闭防护墙

service iptables stop
chkconfig iptables off

2.9 增加开启自启项

所有节点都得增加（可以采用主节点分发的方式）
修改 /etc/rc.local 系统开机启动设置

vim /etc/rc.local
//分发到子节点
 scp -r /etc/rc.local cdh02:/etc/
 scp -r /etc/rc.local cdh03:/etc/

echo 0 >  /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
swapoff -a

3.0 安装时钟服务ntp

所有节点都得安装时钟服务。
时钟服务器安装在主节点上，子节点的时钟服服务全部同步到主节点的时钟服务器上。

3.0.1 安装时钟服务器

安装时钟服务ntp

yum -y install ntp

这里是已经安装了的， 执行命令后成了更新。
启动，并注册到开机自启

service ntpd start
chkconfig ntpd on

查看ntpd的状态：

service ntpd status

3.0.2 主节点配置时钟服务器

vim /etc/ntp.conf

修改前：

修改后：

第一个圈中的是表明时钟同步的网段是192.168.72.0的，第二个表明服务器是跟自己同步的。

修改完后重启ntp服务。

service ntpd restart

到此时钟服务器搭建完成

3.0.3 子节点安装时钟服务并同步到主节点

主要的区别在于配置的修改上
/etc/ntp.conf修改前：

修改后：

注意和主节点的配置对比，两个修改后的配置是不同的。
所有的子节点都得这么安装（可以采用分发的方式），安装完成之后重启ntp服，时钟会自动同步的（需要一定的时间）。

修改完后重启ntp服务。

service ntpd restart

查看同步状态的命令如下：

ntpstat

上图是已经同步上的情况。

下面图片是正在同步，但没有同步上的情况，需要等待

3 创建CDH网络镜像

下载地址：http://archive.cloudera.com/cdh5/parcels/5.14.0/
通过xftp上传cdh安装压缩包到软件仓库目录中（注意：相关的目录需要自己创建，三个文件一个也不能少）：

不需要解压，到此cdh的网络软件镜像创建成功，也可以通过浏览器访问查看详情：