Hadoop伪分布式系统搭建、运行和遇到的问题

        之前学习Hadoop都是运行的本地模式，现在到了搭建伪分布式系统阶段。理论和实践必须结合进行，看书能看懂是一回事，亲自上手实践又是另一回事，会遇到各种问题。而有些是自身理解和操作错误可能很是棘手。下面一步步来吧！

        1.安装Java

        要想能够搭建伪分布式系统前提是安装Java(按照自己的电脑是32位还是64对应下载)，然后配置环境变量JAVA_HOME。本人用的MacOS系统，因而环境变量在.bash_profile文件中。命令终端输入：vim .bash_profile，在文件中添加两句代码保存即可。

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home

export PATH=$PATH:$JAVA_HOME/bin

命令行输入：java -version回车，显示如下信息即java配置成功。

java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

      2.安装Hadoop

      下载好Hadoop发布包(我的是hadoop-2.8.5)，并在本地目录解压缩，我的电脑是/usr/local下。鉴于Hadoop用户的home目录可能挂在在NFS上面，所以Hadoop系统最好不要安装在该目录上面：

cd /usr/local
sudo tar xzf hadoop-2.8.5.tar.gz

最好将Hadoop文件的拥有者改为hadoop用户和组,为了学习阶段的方便我们可以把权限设置的大一些，目录下所有的文件赋予可读可写可执行权限：

sudo chown -R 777 hadoop:hadoop hadoop-2.8.5

然后和Java一样配置环境变量：

export HADOOP_HOME=/usr/local/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

hadoop version
Hadoop 2.8.5
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
Compiled by jdu on 2018-09-10T03:32Z
Compiled with protoc 2.5.0
From source with checksum 9942ca5c745417c14e318835f420733
This command was run using /usr/local/hadoop-2.8.5/share/hadoop/common/hadoop-common-2.8.5.jar

表明Hadoop安装正确。 

        3.SSH配置

        在伪分布模式下工作时必须启动守护进程，而启动守护进程的前提是使用需要提供的脚本成功安装SSH。在伪分布模式下，主机就是本地计算机(loclahost)，因此需要确保用户能够用SSH连接到本地主机，并且可以不输入密码登陆。首先，确保SSH已经正确安装，且服务器正在运行。因为MacOS本身自带SSH所以省略了安装。然后基于空口令生成一个新SSH密钥，以实现无密码登陆。

ssh-kengen -t rsa -P '' -f /Users/mymac/.ssh/id_rsa
cat /Users/mymac/.ssh/id_rsa.pub >> /Users/mymac/.ssh/authorized_keys
ssh localhost

ssh localhost
Last login: Sat Dec 29 13:35:03 2018

如果成功，则无需键入密码。

         4.Hadoop配置文件

        默认情况下，Hadoop的配置文件是放在/usr/local/hadoop-2.8.5/etc/hadoop目录下面。我的做法是将其复制出来放到别的地方，这样可以将配置文件和安装文件隔离开来。但是需要将环境变量HADOOP_CONF_DIR设置成指向的那个新目录。

cp -p /usr/local/hadoop-2.8.5/etc/hadoop /Users/mymac/hadoop-config

这里我把Hadoop生成的日志文件也给了一个指向。

export HADOOP_CONF_DIR=/Users/mymac/hadoop-config

在伪分布模式下，使用如下的简单内容创建配置文件：

core-site.xml:

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

 hdfs-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<property>
		<name>dfs:replication</name>
		<value>1</value>
	</property>
</configuration>

mapred-site.xml:<