单机版安装，伪分布式安装

单机版安装，伪分布式安装

单机版安装：适合做一些调试，mapreduce调试（debug），实际开发中不用
伪分布式安装：在一台服务器上模拟出来多台服务器的效果（模拟多服务的启动方式）

官网地址

单机版安装
1，环境准备
修改虚拟机ip，主机名称，关闭防火墙
1）把ip地址配置到host配置文件中
与主机名称做一个映射，首先得把主机名称确定下来，主机名称用hadoop01，用hadoop01代替ip地址ifconfig找到之前配的ip地址
ifconfig

[root@hadoop01 /]# vi /etc/hosts

加上一句话[主机ip+主机名称]
2）修改主机名称
查看当前主机名称
[root@localhost local]# hostname
修改主机名称两种方式
临时修改：“hostname 主机名称”（当操作系统重启时，修改的主机名称失效）
永久修改：修改配置文件
尝试临时修改主机名称
[root@localhost local]# hostname hadoop0
[root@localhost local]# hostname
hadoop0
为了让主机名称永久生效，需要对配置文件进行修改
[root@localhost local]# vi /etc/hosts
i键切换到编辑模式
输入：
NETWORKING=yes
HOSTNAME=hadoop01 要修改的主机名称
esc键退出命令模式
shift ：键进入底线模式
输入wq保存退出
此时将临时主机名称改回hadoop01
[root@localhost local]# hostname hadoop01
[root@localhost local]# hostname
hadoop01

2，解压缩JDK和hadoop安装包
把hadoop和JDK二进制安装包拖到linux系统目录底下

如果发现这样的问题：

点击全部跳过，重新拖进去，直到文件里的内容跟外面的一样

[root@hadoop01 /]# cd /
[root@hadoop01 /]# cd /home/gid/下载
[root@hadoop01 下载]# ll

总用量 355588
-rwxrw-rw-. 1 gid gid 210606807 4月 21 18:01 hadoop-2.7.1.tar.gz
-rwxrw-rw-. 1 gid gid 153512879 4月 21 20:31 jdk7u79linuxx64.tar.gz

[root@hadoop01 下载]# tar -zxvf ./hadoop-2.7.1.tar.gz -C /usr/local

JDK也是这样解压

3，更改配置文件
进入配置文件，增加环境变量，为了在环境任何地方都能使用命令

[root@hadoop01 hadoop-2.7.1]# vi /etc/profile

命令模式按G键（shift+g）进入文档末
命令模式按i键进入编辑模式
hadoop和JDK的环境变量

esc键退出编辑模式
：键进入底线模式
输入wq保存并退出
让修改的文件立即生效（重启服务器也可以）
**

[root@hadoop01 hadoop-2.7.1]# source /etc/profile

4，对hadoop-env.sh文件进行配置
因为hadoop基于java编写，在jdk中运行，所以先得告诉hadoop我们的jdk的安装目录
**

[root@hadoop01 hadoop-2.7.1]# vi ./etc/hadoop/hadoop-env.sh

ecs键进入命令模式
：键进入底线模式
输入wq退出
测试hadoop version，此时就可以了
**

[root@hadoop01 hadoop-2.7.1]# hadoop version
Hadoop 2.7.1

Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r
15ecc87ccf4a0228f35af08fc56de536e6ce657a
Compiled by jenkins on 2015-06-29T06:04Z
Compiled with protoc 2.5.0
From source with checksum fc0a1a23fc1868e4d5ee7fa2b28a58a
This command was run using /usr/local/hadoop-2.7.1/share/hadoop/common/hadoop-common-2.7.1.jar

5，修改权限
修改hadoop属主和属组，因为实际开发中不能都在root目录中
查看当前hadoop属主和属组

[root@hadoop01 下载]# vi /etc/profile
[root@hadoop01 下载]# cd /usr/local/
[root@hadoop01 local]# ll

建议为Hadoop创建一个单独的用户，以便将Hadoop文件系统与Unix文件系统隔离。

[root@hadoop01 local]# chown -R gid:gid /usr/local/hadoop-2.7.1/

注意：
单机版hadoop会将linux文件系统当做hdfs，查看根目录

[root@hadoop01 hadoop-2.7.1]# hdfs dfs -ls /

伪分布式安装

与单机版安装的区别：启动HDFS和YARN（模拟出HDFS和YARN的进程）
打开ApatchHadoop官网可查看伪分布式配置启动步骤

1、配置etc/hadoop/core-site.xml
改文件包含诸如用于Hadoop实例的端口号，为文件系统分配的内存，用于存储数据的内存限制以及读/写缓冲区大
小的信息。
查看hadoop目录

[root@hadoop01 hadoop­2.7.1]# cd ./etc/hadoop/
[root@hadoop01 hadoop]# ll

1）配置hadoop默认服务访问名，localhost代表本机，可以改成之前设置的主机名称hadoop01

[root@hadoop01 hadoop]# vi core-site.xml

配置文件修改如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>  
    </property>
</configuration>

2）配置hdfs产生的临时文件的目录。原本默认是放在根路径下的/tmp，有时候会被删除掉，因此自定义一下。
进入hadoop目录为他创建临时目录

[root@hadoop01 hadoop]# cd /usr/local/hadoop-2.7.1/
[root@hadoop01 hadoop-2.7.1]# mkdir -p data/tmp

tips：mkdir -p 帮助你直接将所需要的目录(包含上一级目录)都创建起来！
进入刚才创建的目录把路径拿到配置文件中

[root@hadoop01 hadoop-2.7.1]# cd data/tmp/
[root@hadoop01 tmp]# pwd

修改etc/hadoop/core-site.xml配置文件

[root@hadoop01 tmp]# cd /usr/local/hadoop-2.7.1
[root@hadoop01 hadoop-2.7.1]# cd ./etc/hadoop/
[root@hadoop01 hadoop]# vi core-site.xml

配置文件修改如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.1/data/tmp</value>
    </property>
</configuration>

2、配置etc/hadoop/hdfs-site.xml
配置副本复制数量
伪分布式是在一台节点上运行的，如果设置的副本复制数量>1时，副本需要复制到其他节点上，因此伪分布式环境下副本复
制数量值必须设置为1。
1）进入etc/hadoop/hdfs-site.xml

[root@hadoop01 hadoop]# vi hdfs-site.xml

配置文件修改如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>   
    </property>
</configuration>

3，格式化NameNode
官网教程如下

格式化文件系统

[root@hadoop01 hadoop]# hdfs namenode -format

4，启动namenode

[root@hadoop01 hadoop]# cd ..
[root@hadoop01 etc]# cd ..
[root@hadoop01 hadoop-2.7.1]# sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /usr/local/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop01.out

5，启动datanode

[root@hadoop01 hadoop-2.7.1]# sbin/hadoop-daemon.sh start datanode

通过jps命令查看java进行的进程，此时namenode和datanode启动成功

[root@hadoop01 hadoop-2.7.1]# jps
63918 DataNode
63809 NameNode
64016 Jps
[root@hadoop01 hadoop-2.7.1]# 

（注：如果namenode没启动成功则可能是主机名称之前没配好，回到core-site.xml文件把hadoop01换成你的虚
拟机的ip即可；也可能是默认的临时目录路径没修改，去加个临时目录路径）

启动YARN

1，配置etc/hadoop/mapred-site.xml
此文件用于指定我们使用的MapReduce框架。
默认情况下，Hadoop包含yarn-site.xml的模板。首先，需要使用以下命令将文件从mapred-site.xml.template复
制到mapred-site.xml文件。

[root@hadoop01 hadoop-2.7.1]# cd ./etc/hadoop/
[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml

进入 mapred-site.xml 进行文件配置（把配置文件从官网复制过来即可）

[root@hadoop01 hadoop]# vi mapred-site.xml

配置文件修改如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
       
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
</value>
    </property>
</configuration>

2，配置etc/hadoop/yarn-site.xml

配置文件修改如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3，启动resorcemanager

[root@hadoop01 hadoop]# cd ..
[root@hadoop01 etc]# cd ..
[root@hadoop01 hadoop-2.7.1]# sbin/yarn-daemon.sh start resourcemanager

4，启动NodeManager

[root@hadoop01 hadoop-2.7.1]# sbin/yarn-daemon.sh start nodemanager

[root@hadoop01 hadoop-2.7.1]# jps
64265 ResourceManager
64667 Jps
63918 DataNode
63809 NameNode
64541 NodeManager
[root@hadoop01 hadoop-2.7.1]# 

此时伪分布式配置好了

最后关闭yarn即可

[root@hadoop01 hadoop-2.7.1]# sbin/stop-yarn.sh

此时已经没有NodeManager和resourcemanager进程

再关闭HDFS