综合了好多篇文章,结合自己的实践,写的这篇博客。
直接使用centos6.7吧 要不一升级也升成6.7了 省得下载那么多文件
192.168.1.110 master
192.168.1.111 slave1
192.168.1.112 slave2
1. install CentOS 6.5 on VMware Workstation 12
2. 以root权限登录
2.1
# nano /etc/sysconfig/network
改成:
NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.1.2
2.2
#nano /etc/selinux/config
改成:
SELINUX=disabled
2.3 关闭防火墙:
#chkconfig iptables off
2.4
#nano /etc/yum/pluginconf.d/fastestmirror.conf
修改:
enabled=0
2.5
#nano /etc/sysctl.conf
在最后添加:
vm.swappiness=0(by default = 60)
2.6
#nano /etc/resolv.conf
Add the following:
search master
nameserver 192.168.1.2
2.7
#cd /etc/sysconfig/networkscripts/
#nano ifcfg-eth0
这里首先查看
nano /etc/udev/rules.d/70-persistent-net.rules
是否使用的是eth0网卡
如果是修改如下:
DEVICE=eth0 (根据上面查看的修改,有可能是eth1,看自己的系统)
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
DNS1=192.168.1.2
DNS2=8.8.8.8
GATEWAY=192.168.1.2
2.8 重启网络
#service network restart
2.9 配置ssh无密码访问
———–下面是在master上面的操作———————
- 输入以下指令生成ssh
# ssh-keygen
//会生成两个文件,放到默认的/root/.ssh/文件夹中 - 把id_rsa.pub追加到授权的key里面去
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 修改文件”authorized_keys”权限
# chmod 600 ~/.ssh/authorized_keys
- 设置SSH配置
# vim /etc/ssh/sshd_config
- 以下三项修改成以下配置
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
- 重启ssh服务
# service sshd restart
- 把公钥复制所有的Slave机器上
// scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
# scp ~/.ssh/id_rsa.pub root@192.168.1.111:~/
# scp ~/.ssh/id_rsa.pub root@192.168.1.112:~/
———————–以下在Slave主机上配置——————
# mkdir ~/.ssh
- 修改权限
# chmod 700 ~/.ssh
- 追加到授权文件”authorized_keys”
# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
- 修改权限
# chmod 600 ~/.ssh/authorized_keys
- 删除无用.pub文件
# rm –r ~/id_rsa.pub
————————在master主机下进行测试—————
# ssh 192.168.1.111
# ssh 192.168.1.112
3.建立本地yum源
3.1 安装createrepo,创建yum源
#yum -y install createrepo
3.2 安装httpd
#yum -y install httpd
#etc/init.d/httpd start
3.3建立centos光盘镜像本地源
下载centos iso文件
/mnt/dvd1 和 /mnt/dvd2 用于挂载 CentOS 镜像
/usr/data ISO文件存储位置
#mkdir -p /mnt/dvd1 /mnt/dvd2 /usr/data
挂载 CentOS 镜像
将ISO文件上传到服务器, 本文以 /usr/data 目录为例(使用Xmanager), 然后挂载
#mount -o loop /usr/data/CentOS-6.5-x86_64-bin-DVD1.iso /mnt/dvd1
#mount -o loop /usr/data/CentOS-6.5-x86_64-bin-DVD2.iso /mnt/dvd2
拷贝文件
首先, 拷贝第一张DVD中的所有文件到 /var/www/html/yumload 目录下,然后, 只拷贝第二张DVD中Packages目录下的所有RPM文件到 /var/www/html/yumload/Packages 目录下
#cp -av /mnt/dvd1/* /var/www/html/yumload
#cp -v /mnt/dvd2/Packages/*.rpm /var/www/html/yumload/Packages/
合并TRANS.TBL
将DVD2中TRANS.TBL的信息追加到DVD1中TRANS.TBL后面, 并排序保存
#cat /mnt/dvd2/TRANS.TBL >> /var/www/html/yumload/TRANS.TBL
#mv /var/www/html/yumload/{TRANS.TBL,TRANS.TBL.BAK}
#sort /var/www/html/yumload/TRANS.TBL.BAK > /var/www/html/yumload/TRANS.TBL
3.3YUM配置(所有节点都需要配置)
备份YUM配置文件
#cd /etc/yum.repos.d
#rename .repo .repo.backup *.repo
3.3.1生成新的YUM配置文件
#cat > /etc/yum.repos.d/CentOS-Media.repo <<EOF
[centos6]
name=centos6
baseurl=http://192.168.1.110/yumload/
enabled=1
gpgcheck=0
[rpms]
name=rpms
baseurl=http://192.168.1.110/rpms/
enabled=1
gpgcheck=0
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://192.168.1.110/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://192.168.1.110/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
//这里添加后面会用到
>EOF
3.3.2更新YUM源
#yum clean all
#yum upgrade
4.配置NTP服务
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。这里,所有datanode节点以master节点为基础同步时间。
所有节点安装相关组件:
#yum install ntp
#chkconfig ntpd on
4.1主节点配置
#nano /etc/ntp.conf
修改成如下:(其他的可以注释掉或删掉)
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict 192.168.1.0 mask 255.255.255.0 notrap nomodify //给于局域网机的机器有同步时间的权限
server 127.127.1.0
fudge 127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
4.2所有datanode节点
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
这里是主节点的主机名或者ip
server 192.168.1.110
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
4.3启动 ntp,并测试
这里要等一会测试,要不然测试不成功,同步需要时间
#service ntpd start
#netstat -upnl |grep ntpd //查看时程
#ntpq -pn //查看同步的服务器IP
#ntpstat //同步的结果
5.建立本地cm和cdh源
注:安装CM前需要安装mysql或者postgresql数据库,自行搜索教程,因为我这一步是在线安装的,PS.只有主机才能上网,不知道怎么把无线网用有线共享出去,而且单位上网还有个客户端,插上网线就不能上网,头疼
5.1下载cm和cdh
CM下载地址
http://archive-primary.cloudera.com/cm5/repo-as-tarball/
http://archive.cloudera.com/cm5/repo-as-tarball/
CDH下载地址(下载三个文件)
http://archive-primary.cloudera.com/cdh5/parcels/
http://archive.cloudera.com/cdh5/parcels/5.4.5/
CDH-5.4.5-1.cdh5.4.5.p0.7-el6.parcel
CDH-5.4.5-1.cdh5.4.5.p0.7-el6.parcel.sha1
manifest.json
将下载下来的cm5.4.6-centos6.tar.gz文件使用FTP上传到主机上并解压,我是把这个文件放在了/usr/data目录下
#cd /usr/data
#tar -zxf cm5.4.6-centos6.tar.gz
#cd /var/www/html(这个是httpd的目录)
#mkdir -p cm5/redhat/6/x86_64/
#mv /usr/data/cm . (这里有个点不要忘了)
#mkdir -p cdh5/parcels/5.4.5/(将下载的CDH三个文件放在此目录下)
//在/var/www/html目录下新建rpms文件夹,可以存放一些比较新的rpm文件
#mkdir -p /var/www/html/rpms
#cd /var/www/html/rpms
#createrepo ./
OK,到这里本地yum源基本安装好了
下载CM安装文件
http://archive-primary.cloudera.com/cm5/installer/latest/
cloudera-manager-installer.bin
进入其存放目录执行
#chmod +x cloudera-manager-installer.bin
#./cloudera-manager-installer.bin
之后点击下一步,同意就可以了
So,基本就是这样,剩下的就看个人的去怎么配置了