配置单机版伪分布模式Hadoop

大家在做之前首先要通过docker进入fedora系统。具体步骤之前已经说过，这里就不在赘述。这篇文章可能会存在部分问题，大家可以指出来，然后我去更改。
首先更正一下上篇出现的一个错误，Hadoop的环境变量文件中的JDK路径配置错误了，之前的错误已经更改。
具体操作可以看上篇。改正之后是下面的图片。

要查看系统中运行的java 进程，需要jps 命令，只有安装jdk 后才有它，所以，没有安装的记得安装一下。

dnf install java-1.8.0-openjdk-devel

下图是安装的过程。

输入

$ jps

如果出现51 jps则正确。

伪分布式操作

Hadoop 也可以在伪分布式模式下在单节点上运行，其中每个 Hadoop 守护进程在单独的 Java 进程中运行。

运行HDFS

这个过程主要是修改几个配置文件。
这里首先跟大家说一下这几个文件都是干什么的。
yarn-env.sh
首先说一下yarn，YARN是Hadoop1.0升级到2.0时新加的一个功能模块，主要负责管理Hadoop集群的资源。这个模块也是用Java语言开发的，所以也要配置其环境变量JDK。
core-site.xml
这个xml文件是Hadoop集群的核心配置，是关于集群中分布式文件系统的入口地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置。
hdfs-site.xml
前面说到了HDFS分布式文件系统的入口地址，现在这个是HDFS文件系统属性配置。这里的属性指HDFS文件系统的数据块副本。数据块是文件系统存储数据的基本单位。HDFS文件系统的数据块的大小为128MB.

首先修改core-site.xml下面的代码片是修改后的状态。具体路径为：

/app/hadoop-3.1.4/etc/hadoop

指明了Hadoop 主组件的网络主机和端口。
修改的命令是：

$ vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

然后修改hdfs-site.xml，路径跟上一个相同。
修改的命令是：

$ vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改后的文件如下图：

设置无密码 ssh

现在检查能否在没有密码短语的情况下向本地主机 ssh：

$ ssh localhost

如果如果没有密码，无法向本地主机 ssh，请执行以下命令：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

如下图：

在~/.ssh/下得到三个文件：

执行

1.格式化文件系统：路径如下图。

$ bin/hdfs namenode -format

在该路径下**/app/hadoop-3.1.4/etc/hadoop**修改hadoop-env.sh文档。

输入：（随便找一个地方添加即可）

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在文件/etc/profile 中添加一条：export PDSH_RCMD_TYPE=ssh（在文档的最后加入即可）


启动ssh server：

$ /sbin/sshd

如果出现以下错误，是因为没有安装sshd。

输入以下命令应该就可以解决。

$ dnf install ssh-server(如果问题不能解决，继续输入下面两行）
$ dnf install openssh-clients
$ dnf install openssh-server

还需要执行命令：

$ ssh localhost

回车后输入yes。

2.启动名称Node守护进程和数据Node守护程序：
输入：

$ sbin/start-dfs.sh

如果找不到hostname 命令，则输入

$ dnf install hostaname

此命令记得在**/app/hadoop-3.1.4**目录下输入。

然后输入

$ jps

出现下图里的三个进程则成功

如果要停止HFDS：

$ sbin/stop-dfs.sh

在容器外访问HDFS 服务

执行以下操作时需要先退出fedora。执行以下命令：

$ exit

修改容器的端口映射：
先将容器系统保存成新的镜像，再以此镜像run 新容器，run 时指定端口映射；
命令：docker commit 容器名或id 新镜像的名字

$ docker run -it -p 9000:9000 -p 9870:9870 --name nyh nyh655.hadoop:v1 /bin/bas

然后输入启动hdfs 系统：

$ /sbin/sshd
$ sbin/start-dfs.sh

输入：

$ jps

可以看到跟之前类似的组件进程。

然后就可以在宿主机上用浏览器看网页了：http://localhost:9870
如果该网址不能使用的话，我们应该记得在启动docker的时候出现了一个IP地址，我们用这个地址来替代localhost.

输入http://192.168.99.100:9870/就会出现下面的网页了。（这里的IP是我自己的IP，每个人的IP可能不一样）

最后，如果之前出现找不到rcmd 插件ssh

 $ dnf install pdsh-rcmd-ssh