【大数据环境篇一】 Hadoop 本地环境搭建概述

本环境篇系列，只记录安装步骤和配置文件等信息，不讲解碰到的问题。

Hadoop 2.10.0

 

安装HDFS

 

配置文件

etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

 

etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.name.dir</name>

                <value>/opt/hadoop-2.10.0/dfs/name/</value>

        </property>

        <property>

                <name>dfs.data.dir</name>

                <value>/opt/hadoop-2.10.0/dfs/data/</value>

        </property>

</configuration>

 

 

启动命令

$HADOOP_HOME/sbin/start-dfs.sh

 

 

关闭命令

$HADOOP_HOME/sbin/stop-dfs.sh

 

安装YARN

 

配置文件

etc/hadoop/mapred-site.xml

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

 

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

etc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

 

启动服务

   $HADOOP_HOME/sbin/start-yarn.sh

 

关闭服务

   $HADOOP_HOME/sbin/stop-yarn.sh

 

同时启动HDFS和Yarn服务

$HADOOP_HOME/sbin/start-all.sh

 

同时关闭HDFS和yarn服务

$HADOOP_HOME/sbin/stop-all.sh

 

参考文章：

https://blog.csdn.net/adorechen/article/details/104589268