hadoop集群搭建（一）

一、系统设置

1. 关闭防火墙

service iptables status  //检查防火墙状态

service iptables stop //关闭防火墙

chkconfig iptables off //永久关闭防火墙

2.关闭SELinux

编辑vi /etc/selinux/config

重启，检查是否关闭getenforce

3. 卸载openJDK 安装SUM公司JDK

检查是否安装openJDK              rpm  -qa |grep java

卸载： rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

4.禁用 THP

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

二、Hadoop搭建准备

1.挂载光驱文件到 /media/CentOS

mkdir /media/CentOS

mount  /dev/cdrom  /media/CentOS

2.修改yum.repos.d

ll  /etc/yum.repos.d

mv CentOS-Base.repo  CentOS-Base.repo.bak

Vi CentOS-Media.repo

 安装vim

yum install vim

安装ssh服务端以及客户端

yum install openssh-askpass openssh-clients

rpm -qa|grep ssh

修改hosts文件

vim /etc/hosts

 时钟服务器安装以及同步时间

安装时钟服务器       yum install ntp

vim /etc/ntp.conf

启动并设置开机启动  

service ntpd start

chkconfig ntpd on

跟新时间到服务器

查看服务器与本机时间误差

watch ntpq -p

客户机查看是否和主机同步

ntpstat

SSH密钥登录准备

mkdir .ssh

进入.ssh目录   ssh-keygen -t rsa   

cat id_rsa.pub >> authorized_keys

拷贝SSH密钥到每个节点上去  scp   -r    /root/.ssh/*   hadoop-1:/root/.ssh/

 搭建本地软件仓库

安装httpd服务    yum install httpd    service httpd status

设置开机启动  chkconfig httpd on

创建软件库

创建目录   mkdir –p /var/www/html/hdp/

上传软件包到目录/var/www/html/hdp/

安装createrepo

安装依赖包   yum install libxml2-python    yum install python-deltarpm

安装createrepo    rpm -ivh createrepo-0.9.8-5.el6.noarch.rpm

安装yum-utils   yum install yum-utils

创建仓库配置文件   createrepo /var/www/html/hdp/ambari-1.x/

上传配置文件到/etc/yum.repos.d/

ambari.repo

hdp.repo

配置这2个文件修改其服务器地址

上传key文件到/etc/pki/rpm-gpg/

RPM-GPG-KEY-Jenkins是上面2个文件中的gpgkey指向的文件，所有节点都需要有这个key文件

检查软件包列表

yum repolist