Hadoop 2.X伪分布式环境搭建和测试

我用的jdk版本是1.7，Hadoop版本是2.5.0。

一，配置core-site.xml，目录在etc/hadoop下：

默认hdfs地址为主机名+端口号（固定是8020端口）

二：在当前目录下新建data目录，进入data目录，新建tmp目录，如图所示：

三，在core-site.xml配置文件中配置新建好的tmp目录，这个属性设置namenode和datanode存放元数据目录时会用到，所以最好用自己的。如下图所示：

 

 

四：用命令  bin/hdfs查看hdfs是否配置成功，如果成功，会显示hdfs的参数列表：

五：格式化namenode数据：

  运行命令 bin/hdfs  namenode –format，（注意：namenode只在初始时格式化，之后不要轻易格式化，否则元数据会丢失）结果如下图所示：

六：启动namenode和datanode:

 格式化成功后，运行命令 ：sbin/hadoop-daemon.sh  start namenode 和sbin/hadoop-daemon.sh start  datanode，通过命令jps查看结果，成功后如下图所示：

 

也可以通过hdfs的web界面查看，访问地址zpl-hadoop:50070（主机名+50070端口），如下图所示：

 

创建自己的目录： bin/hdfs   dfs   mkdir -p  /user/zpl/，成功后在web页面可以看到：

在hadoop目录下有wcinput目录，里面有测试文件wc.input，将wc.input上传到文件目录下 : bin/hdfs   dfs  -put wcinput/wc.input       /user/zpl/mapreduce/wordcount/input,查看运行结果，如下图所示：

 

也可以通过web页面进行查看

 

 

 

 

 

运行mapreduce示例jar包，命令：bin/hadoop   jar    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar      wordcount        /user/zpl/mapreduce/wordcount/input/        /user/zpl/mapreduce/wordcount/output

 

运行成功后如下图所示：

查看结果：bin/hdfs dfs -cat /user/zpl/mapreduce/wordcount/output/part*，各个单词统计结果正确。