Hadoop伪分布式配置

这里小编主要讲的是Hadoop伪分布式安装的配置，Hadoop可以在单节点上以伪分布式的方式运行。Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
前提：确保Hadoop已经安装
Hadoop 的配置文件位于你安装Hadoop的路径Hadoop中，伪分布式需要修改3个配置文件即hadoop-env.sh、core-site.xml和hdfs-site.xml

1. 修改hadoop-env.sh

执行下面命令：

vim hadoop-env.sh

修改JAVA_HOME，进入以后修改jdk的路径，这个根据自己安装jdk的路径进行修改即可，注意：一定要确保jdk路径正确

2. 配置core-site.xml
   执行下面命令：

vim core-site.xml

在configuration下添加内容，保存退出
<configuration> <property> <name>hadoop.tmp. dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

3. 配置hdfs-site.xml
   执行下面命令：

vim hdfs-site.xml 

与上述步骤一样！
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> </configuration>
上面文件配置完以后，细心的码友会问file:/usr/local/hadoop/tmp、file:/usr/local/hadoop/tmp/dfs/name和file:/usr/local/hadoop/tmp/dfs/data这些是什么？，这里解释一下。file:/usr/local/hadoop是小编安装Hadoop的路径，后面的内容是没有的，需要我们自己创建，用来存放Hadoop运行存放的一些文件。
解释了一番，说白了里面的路径可以根据自己的需求来自己设定，但要确保设置的路径是存在的！
可以用mkdir -p加上设置的路径来创建相对应的文件。
例如：

hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp
hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp/dfs/name
hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp/dfs/data

4. 接下来输入命令：hadoop namenode -format这一步很关键。
   出现这算是上面配置成功了
   
   然后输入命令切换目录cd local/hadoop/sbin/到sbin目录下，显示目录文件，可以看到一些启动和停止的相关文件
   

5. 执行命令./start-all.sh

这其实就是一个拥有执行权限的脚本文件，文件中针对Hadoop集群启动可能出现的各种问题进行分析
在条件都合适时，加载一些配置，开启对应服务等…
想具体了解的话可以参考这篇文章：
https://blog.csdn.net/zhang0558/article/details/53169204

6. 接着执行命令：jps

它只列出系统中所有的 Java 应用程序。 通过 jps 命令可以方便地查看 Java 进程的启动类、传入参数和 Java 虚拟机参数等信息

7. 停止Hadoop集群./stop-all.sh然后输入命令./start-dfs.sh重新启动namenode,使用jps查看进程，这时候Hadoop伪分布式配置已经完成了。