Centos7.2安装Hadoop2.6.0

一、安装三台Centos

实现三台机器网络互通
并使用root用户登录

master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4

二、分别创建用户和组
groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop

id hadoop

三、规划安装路径

a.安装路径
/hadoop 根路径下放置子路径，比如hbase的安装路径是 /hadoop/hbase

b.临时目录
/hadoop/tmp 存放临时文件

c.所用软件目录
/software 放置常用的安装软件 

四、分别关闭防火墙和SELinux

1，关闭防火墙

查看centos 查看版本
cat /etc/redhat-release

centos 7：
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用

之前的版本：
service iptables stop #停止
chkconfig iptables off #禁用

2，关闭SELinux  
SElinux是Linux安全加强工具
修改配置文件
vi /etc/sysconfig/selinux
修改： SELINUX=disabled

五、修改主机名、主机名与IP映射

1.分别 vi /etc/hostname 改主机名

2.在vi /etc/hosts主分别同时加上下面三句
192.168.1.2   master
192.168.1.3   slave1
192.168.1.4   slave2

六、配置无密SSH登录
a. 如果没安装SSH，需提前安装

ssh -V  查看安装的版本

ssh 127.0.0.1

netstat -a | more看有没正常启动
如果出现：
tcp 0 0 *:ssh *:* LISTEN

b.生成密钥信息

在hadoop用户下的主目录
su hadoop
cd ~
ls -la

ssh-keygen -t rsa -N ""

ls -la

cd .ssh/
ls -la
发现两个文件 id_rsa  id_rsa.pub

cat id_rsa.pub >> authorized_keys

c.添加至其他结点
在其他结点，分别
su - hadoop
mkdir .ssh
cd .ssh/
vi authorized_keys
直接COPY密钥信息

用scp 

d.测试主结点是否可以登录到从结点
ssh slave1
ssh slave2

七、安装Hadoop
a.在主结点上安装Hadoop

1.在主结点上解压文件
tar -zxf hadoop-2.6.0.tar.gz -C ../hadoop/

2.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh 获取JDK支持
export JAVA_HOME=/hadoop/jdk1.7.0_79

3.修改hadoop-2.6.0/etc/hadoop/core-site.xml 全局的配置文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.1.2:9000</value>
    </property>
</configuration>

4.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>/hadoop/hadoop-2.6.0/namenodedata</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/hadoop/hadoop-2.6.0/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>


5.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml  mapreduce

6.修改hadoop-2.6.0/etc/hadoop/slaves      指定从节点
slave1
slave2

b.需要分发到其他两个节点，同步文件内容
rsync -avz /hadoop/hadoop-2.6.0 slave1:/hadoop/
rsync -avz /hadoop/hadoop-2.6.0 slave2:/hadoop/

c.格式化HDFS
bin/hdfs namenode -format

d.启动hdfs
sbin/start-dfs.sh

e.测试

jps
或
http://master:50070/

f.停止hdfs

sbin/stop-dfs.sh

JPS查看的效果

Web浏览器查看的效果：