hadoop集群安装

1.环境，2台CentOS release 6.5 64位
master 10.10.10.10
slave1 10.10.10.11
slave2 10.10.10.12


2.jdk安装，安装版本为jdk1.8.0_51
rpm -ivh jdk-8u51-linux-x64.rpm
编辑/etc/profile，添加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_51
export CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使配置生效：source /etc/profile


3.配置SSH
（1）去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置
#RSAAuthentication yes
#PubkeyAuthentication yes
（2）输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，
/root就会生成.ssh文件夹，每台服务器都要设置
(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并
[root@master .ssh]# cat id_rsa.pub >>authorized_keys
ssh root@10.10.10.11 cat ~/.ssh/id_rsa.pub >>authorized_keys
ssh root@10.10.10.12 cat ~/.ssh/id_rsa.pub >>authorized_keys
（4）把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
(5)完成，ssh root@10.10.10.11、ssh root@10.10.10.12就不需要输入密码了


4.创建目录
[root@master ~]# mkdir -p /app
[root@master ~]# cd /app
[root@master app]# mkdir -p tmp
[root@master app]# mkdir -p hdfs
[root@master app]# mkdir -p hdfs/data
[root@master app]# mkdir -p hdfs/name
5、安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器
将hadoop安装包解压到/app目录下：
cd /app/hadoop-2.7.3/etc/hadoop
--编辑vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.10.10.10:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/app/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
 </configuration>
--编辑vim hdfs-site/xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/app/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/app/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>10.10.10.10:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
 </configuration>


 --编辑 vim mapred-site.xml
 <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>10.10.10.10:10001</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>10.10.10.10:10002</value>
    </property>
 </configuration>


--编辑 vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.10.10.10:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.10.10.10:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.10.10.10:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>10.10.10.10:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>10.10.10.10:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
 </configuration>


在两个文件hadoop-env.sh  yarn-env.sh添加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_51


编辑 vim salves 添加如下内容：
10.10.10.11
10.10.10.12
master主机里面添加ip    vim /etc/host
10.10.10.10 master


在Master服务器启动hadoop，从节点会自动启动，进入/app/hadoop-2.7.3目录
(1)初始化，输入命令，./bin/hdfs namenode -format
(2)全部启动./sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话，输入命令，sbin/stop-all.sh
(4)输入命令，jps，可以看到相关信息


13、Web访问，要先开放端口或者直接关闭防火墙
(1)输入命令，systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182: