单机搭建hadoop环境（包括hdfs、yarn、hive）

单机可以搭建伪分布式hadoop环境，用来测试和开发使用，hadoop包括：

hdfs服务器，

yarn服务器，yarn的前提是hdfs服务器，

在前面两个的基础上，课可以搭建hive服务器，不过hive不属于hadoop的必须部分。

过程不要想的太复杂，其实挺简单，这里用最糙最快最直接的方法，在我的单节点虚拟机上，搭建一个hdfs+yarn+hive：

首先，要配置好Java的JAVA_HOME和PATH（etc/hadoop/hadoop-env.sh里的JAVA_HOME要改为本机的JAVA_HOME），还是有ssh本机的免密码登录。

安装配置启动hdfs服务器：

然后，下载hadoop安装包，这个包就包括了hdfs服务器和yarn服务器的执行文件和配置脚本。解压后，先配置 hdfs 服务器端，主要是两个配置文件：core-site.xml 和 hdfs-site.xml 这个site我估计就是服务器端配置的意思。我是用root用户配置和执行的：

etc/hadoop/core-site.xml （这里9000是hfds服务器，监听端口号，这里要用自己的IP地址，如果用127.0.0.1，远程集群连不进来）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://172.32.155.57:9000</value>
    </property>

</configuration>

etc/hadoop/hdfs-site.xml （dfs.namenode.name.dir 和 dfs.namenode.data.dir）是服务器上存储元数据和数据的目录。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/mnt/disk01/hadoop/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/mnt/disk01/hadoop/dfs/data</value>
    </property>

</configuration>