Hadoop平台搭配

Hadoop平台搭配

关闭防火墙

sudo service iptables stop   # 关闭防火墙服务
sudo chkconfig iptables off  # 禁止防火墙开机自启，就不用手动关闭了

一、网络环境配置

ifconfig————————————查看当前网络设置
vi /etc/sysconfig/network-scripts/ifcfg-eth0————————配置网络环境

修改
    BOOTPROTO=static
添加  
    IPADDR=192.168.10.2
    NETMASK=255.255.255.0
    GATEWAY=192.168.10.1
（这里是仅主机模式下）
修改完成后需要重新打开网络

二、配置主机名 （可不配）

vi /etc/sysconfig/network
以master机为例
添加
    HOSTNAME=master

三、修改域名解析

vi /etc/hosts
添加
    192.168.10.2 master
    192.168.10.4 slaver
    ……

四、添加hadoop用户

useradd hadoop
passwd hadoop

五、SSH免密码登录

Master	slaver	步骤
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa	ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa	1
	scp ~/.ssh/id_rsa.pub master:/tmp/s1	2
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys		3
cat /tmp/s1 >> ~/.ssh/authorized_keys		4
chmod 600 ~/.ssh/authorized_keys		5
chmod 700 ~/.ssh		6
scp ~/.ssh/authorized_keys slaver:~/.ssh/authorized_keys		7

六、安装JDK

在usr目录下创建java目录
cd /usr 一栋到usr目录
mkdir java ——————————————创建java文件夹

①rpm格式
        rpm -ivh java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
②gz格式
        tar -zxvf java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

七、配置JDK环境变量

vi /etc/profile——————————修改环境变量
添加
    JAVA_HOME=/usr/java/jdk1.8.0_111
    PATH=$JAVA_HOME/bin:$PATH
    CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
    export PATH JAVA_HOME CLASSPATH
（JAVA_HOME根据自己安装的JDK版本及路径更改）
修改完成后  在不重新启动操作系统的情况下使 /etc/profile 文件生效
source /etc/profile

八、安装Hadoop

在/usr下创建hadoop文件夹
    mkdir hadoop——————创建hadoop文件夹
解压Hadoop到hadoop文件夹内
    tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop

九、配置hadoop环境变量

vi /etc/profile
添加
    HADOOP_HOME=/usr/hadoop
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
（HADOOP_HOME根据自己安装路径为准）

十、修改 hadoop-env.sh

进入hadoop的安装目录   
    cd /usr/hadoop
    vi hadoop-2.7.3/etc/hadoop/hadoop-env.sh
 添加
    export JAVA_HOME=/usr/java/jdk1.8.0_111
 (添加的JAVA_HOME以自己安装的路径为主)

十一、替换 core-site.xml 、hdfs-site.xml 、 yarn-site.xml 、 mapred-site.xml

这四个文件在hadoop文件下
hadoop/hadoop-2.7.3/etc/hadoop

十二、修改 slaves文件

进入hadoop的安装目录   
    cd /usr/hadoop
    vi hadoop-2.7.3/etc/hadoop/slaves
 添加
    master
    slaver
 （这里添加的内容和自己master机、slaver机的名字设置一致）

十三、拷贝hadoop

在master机中执行
scp -r /usr/hadoop/hadoop-2.7.3 slaver:/usr/hadoop/

十三、启动服务（在master机中执行

先初始化环境
    source /etc/profile
    hdfs namenode -format
进入hadoop路径
启动服务
    start-dfs.sh
master机输入jps
如果有5个节点则为正确
其他机
有3个节点则为正确