Hadoop2.7.1伪分布式运行实例

配置完成后，执行 namenode 的格式化:

bin/hadoop  namenode  -format 

输入命令，启动进程

sbin/start-all.sh （bin/start-all.sh）

查看进程启动情况：

 jps

打开浏览器，输入网址

http://localhost：8088（50030）

http://localhost：50070

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要创建用户目录

bin/hdfs dfs -mkdir -p user/hadoop

(bin/hadoop dfs -mkdir -p usr/hadoop)

接着将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系

统中的/user/hadoop/input 中。上一步已创建了用户目录 /user/hadoop ，因此命令中就可以使用相对目录如 input，其对应的

绝对路径就是 /user/hadoop/input:

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input

(bin/hadoop dfs -put etc/hadoop/*.xml input)

复制完成后，可以通过如下命令查看文件列表：

bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本

地 input 文件夹删掉以及运行结果来验证这一点）。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

bin/hdfs dfs -cat output/*

也可以将运行结果取回到本地：

rm -R ./output(可能不需要)

bin/hdfs dfs -get output output     # 将 HDFS 上的 output 文件夹拷贝到本机

cat ./output/*

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

Hadoop伪分布式运行grep结果


Hadoop运行程序时，默认输出目录不能存在，因此再次运行需要执行如下命令删除 output文件夹:

bin/hdfs dfs -rm -r /user/hadoop/output     # 删除 output 文件夹

（bin/hadoop  dfs -rmr  /user/hadoop/output     # 删除 output 文件夹）

运行程序时，输出目录需不存在
运行 Hadoop 程序时，结果的输出目录（如output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可


在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：


Configuration conf = new Configuration();
Job job = new Job(conf);
...
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

...

若要关闭 Hadoop，则运行

sbin/stop-dfs.sh

自此，你已经掌握 Hadoop 的配置和基本使用了。


注意
下次启动 hadoop 时，无需进行 namenode 的初始化，只需要运行 sbin/start-dfs.sh 就可以！


附加教程: 配置PATH环境变量
在这里额外讲一下 PATH 这个环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在执行 ls 这个命令时，实际执行的
是/bin/ls 这个程序，而不是 ~/ls 这个程序（假如存在）。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目
录位置下找到匹配的程序（若没有匹配的则提示该命令不存在）。

上面的教程中，我们都是先进入到 /usr/local/hadoop 目录中，再执行 sbin/hadoop，实际上等同于运行 /usr/local/hadoop/sbin/hadoop。

我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中，这样就可以直接通过start-dfs.sh 开启 Hadoop，也可以直接通过 hdfs 访问 


HDFS 的内容，方便平时的操作。


同样我们选择在 ~/.bashrc 中进行设置（vim ~/.bashrc，与 JAVA_HOME 的设置相似），在文件最前面加入如下单独一行:

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin
添加后执行 source ~/.bashrc 使设置生效，生效后，在任意目录中，都可以直接使用 hdfs dfs -ls input 等命令，而无需使用绝对目录。