Hadoop伪分布式搭建

准备工作

{
创建虚拟机
安装CentOS7镜像文件
配置IP
}
这三步可以搜索其他博客，本文不再详细叙述。
直接进入Linux的Java安装和Hadoop配置

需要的文件

jdk-8u77-linux-x64.tar.gz
hadoop-2.7.3.tar.gz

类似Xshell连接虚拟机的软件，用于向虚拟机指定目录传输文件。

Xshell连接虚拟机

点击连接按钮
按照提示输入你虚拟机的用户名和密码
我的用户名是xwk

这样就连接成功了，我们文件的配置工作都在Xshell进行，因为Xshell在vi编辑时可以复制！

开始向虚拟机指定目录传输Java和Hadoop的文件

新建software文件夹

[root@master xwk]# cd /home/xwk/
[root@master xwk]# mkdir software
[root@master xwk]# ls
software
[root@master xwk]# cd software/
[root@master software]#

给文件夹足够的权限，不然可能传输失败。

[root@master software]# chmod 777 /home/xwk/software/
[root@master software]#

点击这个绿色按钮

直接把你左边界面电脑里的这两个文件拖拽到右边虚拟机的界面就行

ls查看文件是否传输成功

[root@master software]# ls
hadoop-2.7.3.tar.gz  jdk-8u77-linux-x64.tar.gz
[root@master software]#

解压两个压缩包

[root@master software]# tar -zxvf jdk-8u77-linux-x64.tar.gz 
[root@master software]# tar -zxvf hadoop-2.7.3.tar.gz 
[root@master software]# ls
hadoop-2.7.3  hadoop-2.7.3.tar.gz  jdk1.8.0_77  jdk-8u77-linux-x64.tar.gz
[root@master software]# 

修改/etc/profile文件

vim /etc/profile

如果出现

[root@master software]# vim /etc/profile
bash: vim: 未找到命令
[root@master software]#

执行

[root@master software]# yum -y install vim-enhanced

继续编辑文件

vim /etc/profile

接下来，在文件中插入以下配置信息
Xshell可以直接粘贴，如果你手敲的话，一定要看清字母，不要输错了。

JAVA_HOME=/home/xwk/software/jdk1.8.0_77
JRE_HOME=/home/xwk/software/jdk1.8.0_77/jre

PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
export HADOOP_HOME=/home/xwk/software/hadoop-2.7.3
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

使配置文件生效。

source /etc/profile

检测Java是否安装成功

[root@master software]# java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
[root@master software]# 

配置Hadoop文件

所有文件均在下面这个目录中配置

cd /home/xwk/software/hadoop-2.7.3/etc/hadoop/

配置core-site.xml文件

vim core-site.xml

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/xwk/software/hadoop-2.7.3/tmp</value>
        <description>A base for other temporary directiories.</description>
</property>
<property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:8020</value>
</property>
</configuration>

配置hadoop-env.sh文件

vim hadoop-env.sh

export HADOOP_HEAPSIZE=2000
export JAVA_HOME=/home/xwk/software/jdk1.8.0_77
export HADOOP_IDENT_STRING=$USER

配置yarn-env.sh文件

vim yarn-env.sh

export JAVA_HOME=/home/xwk/software/jdk1.8.0_77

配置yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.10.20:8032</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

配置mapred-site.xml文件

因为这个文件原先没有，所以得先复制

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
</property>
<property>
         <name>mapreduce.cluster.local.dir</name>
         <value>/home/xwk/software/hadoop-2.7.3/hadoop_dir/mapred/local</value>
</property>
<property>
         <name>mapreduce.jobtracker.system.dir</name>
         <value>/home/xwk/software/hadoop-2.7.3/hadoop_dir/mapred/system</value>
</property>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
<description> Let the MapReduce jobs run with the yarn framework. </description>
</property>
</configuration>

配置hdfs-site.xml文件

vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/xwk/software/hadoop-2.7.3/hadoop_dir/dfs/name</value>
</property>
<property>
         <name>dfs.datanode.data.dir</name>
         <value>/home/xwk/software/hadoop-2.7.3/hadoop_dir/dfs/data</value>
</property>
</configuration>

格式化

cd /home/xwk/software/hadoop-2.7.3

hadoop namenode -format

启动

cd /home/xwk/software/hadoop-2.7.3/sbin

需要不断让你输入密码进行确认操作

./start-all.sh

输入jps出现以下结果说明启动成功

[root@master sbin]# jps
11205 NameNode
11909 NodeManager
12006 Jps
11479 SecondaryNameNode
11625 ResourceManager
11325 DataNode
[root@master sbin]#

如果你全部在Xshell里进行编辑，那么你应该在虚拟机里再次运行以下命令（这很重要！！！）

使配置生效

source /etc/profile

关闭防火墙（这很重要）

一次关闭
[root@master sbin]# systemctl stop firewalld.service
禁止防火墙开机自启动
[root@master sbin]# systemctl disable firewalld.service
[root@master sbin]# 

浏览器验证

分别输入

http://192.168.10.20:8088/
http://192.168.10.20:50070/

如果进行到这一步，那么恭喜你，你的Hadoop伪分布式搭建已经成功！

关闭（这很重要！！！）

需要不断让你输入密码进行确认操作
关闭虚拟机前一定要先关闭Hadoop!!!
否则下次开机启动会出现无法预料的错误！！！

./stop-all.sh

成功关闭的情况应该是输入jps出现以下结果

[root@master sbin]# jps
12006 Jps
[root@master sbin]#