hadoop伪分布式环境搭建

一、下载hadoop并解压

官方下载页面地址：http://hadoop.apache.org/releases.html
下载2.7.5版本，并解压，我的解压路径为下图

二、配置hadoop运行环境

注意：必须要有java环境
1、编辑环境变量文件
vi ~/.bash_profile
2、文件中添加hadoop环境变量
export HADOOP_HOME=/Users/lhy/hadoop/hadoop-2.7.5/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3、使配置生效
source ~/.bash_profile
4、查看是否配置成功
Hadoop version
出现下图说明成功

配置环境变量主要目的是使用命令行操作起来比较方便

三、伪分布式运行环境搭建

1、进入hadoop解压目录，查看目录结构

bin：存放hadoop的运行脚本，常用的有hadoop、hdfs、yarn等
etc：存放hadoop的配置文件
include：存放hadoop的第三方依赖
lib：存放hadoop自身的类库
libexec：存放了hadoop一些用于协调服务的脚本
logs：本人自己创建的，用于存放日志
sbin：存放的是一些hadoop相关操作的脚本，启动服务，终止服务等
share：存放说明文档和一些简单的demo

2、etc/hadoop下的配置文件
2.1、修改core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost</value>
  </property>

2.2 、修改hdfs-site.xml

<property>
    <name>dfs.replication</name>
       <value>1</value>
    </property>

2.3、修改mapred-site.xml （修改mapred-site.xml.template，去掉.template）

<property>
     <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

2.4、修改yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>

3、启动hadoop服务
3.1、首次使用hdfs，必须先格式化namenode，格式化HDFS

bin/hdfs namenode -format

如果已经格式化过了，在次使用此命令会提示是否格式化本地namenode，确定输入y晴空本地namenode下所有文件，以前的数据将会消失。

3.2、启动HDFS

sbin/start-dfs.sh

3.3、启动YARN

sbin/start-yarn.sh

3.4、启动MapReduces守护进程

sbin/mr-jobhistory-daemon.sh start historyserver

3.5、为自己创建一个目录（创建一个用户）

hadoop fs -mkdir -p /user/$USER

3.6、检查服务是否启动成功

使用jps检查所有的java进程，存在下图标识说明启动成功

3.7、整体查看hdfs文件系统

hdfs fsck / -files -blocks

三、总结

搭建的过程中，总会出现各种各样的问题，查日志是解决问题的最好办法