阿里云服务器安装Hadoop

详细讲解 Hadoop2.7.7 安装（单节点）

此篇文章只是学习不实用于生产。
安装Hadoop前需要，需要安装java环境。还有ssh免密登录，ssh免密登录可以选择不安装。
如果不安装ssh启动Hadoop的时候需要输入多次密码。

本次用的是centos7.2 + hadoop2.7.7

• 修改主机名称 配置 hosts 文件
  修改主机名称

hostname hadoop
vi /etc/hosts

• 使用 wget 下载 Hadoop 非常方便
  复制以下命令下载 可能会有点慢

wget -r https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz ./

• 解压 Hadoop tar -zxf

tar -zxf hadoop-2.7.7.tar.gz

• 配置四个文件 其中 mapred-site.xml 需要复制一份
  
• 配置 Hadoop-env.sh
  
• 配置 core-site.xml

<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/temp</value>
    </property>
</configuration>

• 配置 hdfs-site.xml

<configuration>
        <!--  设置HDFS副本数量  -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• 配置 mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• 配置 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

• 配置 Hadoop 环境变量
  修改文件 vi ~/.bashrc
  
  重新启动加载配置文件 source ~/.bashrc
• 启动Hadoop 第一次启动需要格式化

hdfs namenode -format //格式化命令
start-all.sh //启动命令

• 启动之后输入 jps 查看启动程序 以下程序都启动算完成
  
  可以输入网址进行查看