hadoop安装

首先打开虚拟机登录root账户，创建一个hadoop账户：

然后解决权限问题，esc键  :98找到如下行加入如图所示：

然后更改主机名，并填写hadoop映射：

sudo vim /etc/hostname

sudo vim /etc/hosts

然后重启虚拟机。

安装java:

sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

添加java环境变量：vim ~/.bashrc

然后执行更新：source ~/.bashrc

之后进行Hadoop安装。将hadoop安装包解压到指定目录然后进行配置，

sudo tar -zxf ~/下载/hadoop-2.8.1.tar.gz -C /usr/local

执行后进行重命名：sudo mv /usr/local/hadoop-2.8.1/ /usr/local/hadoop

权限设置： sudo chown -R hadoop:hadoop /usr/local/hadoop/

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。

2.文件 core-site.xml 改为下面的配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

3.文件 hdfs-site.xml，dfs.replication 一般设为 3

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4.文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

5.文件 yarn-site.xml：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

然后进行虚拟机的克隆选择完全克隆：

之后开启克隆的两台虚拟机进行网络配置：

cd /etc/sysconfig/network-scripts/

vi ifcfg-ens33进入更改地址后保存

service network restart重启即可

 

还要对主机名进行修改：sudo vi /etc/hostname

增加内容：

hadoop002

第三台机器也是如此。

克隆两个后进行ssh免密配置，之后会进行免密详解。

之后执行在主节点上执行：hdfs namenode -format       # 首次运行需要执行初始化，之后不需要