hadoop-运行WordCount实例



运行Hadoop的第一个实例：WordCount  

1.配置hadoop的运行环境见大数据管理系统开发环境搭建  

2.运行hadoop系统（./start-all.sh），用jps查看所有的hadoop进程，应该有以下进程  

---

 namenode  

 secondary-namenode

 datanode  

---

以上三个节点保证了hadoop的hdfs正常运行：  

namenode：数据的集中管理(hadoop hdfs是master/slave的架构)  

secondary-namenode:提供namenode的备份(防止中心节点namenode的崩溃)  

datanode:负责具体数据的存储和读写  

注意：hdfs的文件系统和我们普通的文件系统的文件不一样，hdfs文件只能在hdfs文件系统中查看，在linux本机上查看会都是乱码  

---

ResourceManager  

NodeManager  

---

以上两个节点保证了Map-Reduce的任务能够顺利运行  

ResourceManager : 即JobTracker，负责mapred任务执行的跟踪和分配  

NodeManager：即JobWorker,负责执行mapred任务  

---

3.WordCount实例介绍  

hadoop的WordCount实例是hadoop Map-Red运行的一个范例，常用来检测map-red开发环境是否搭建成功  

WordCount顾名思义就是数单词个数，输入多个文件，每个文件都存放多行单词，wordCount输出所有文件中每个单词出现了多少次  

4.运行WordCount-   第一个mapred任务  

1）首先在本地创建文件 ，这两个文件就是mapred的输入文件  

mkdir ~/input  

echo "hello hadoop">>a  

echo "hello world">>b  

2)将创建的文件夹上传到hdfs系统中hadoop用户的根目录下  

hdfs dfs -put ~/input /user/hadoop/  //注:hdfs默认是当前用户目录,与linux类似，不是根目录  

3)执行mapRed任务：  

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar  

 input output  

org.apache.hadoop.examples.WordCount指出jar包中运行哪个类

input是hdfs系统中输入文件夹，output是hdfs中当前用户的输出文件夹（没有的话会自动创建）  

5.以上步骤完成后，可以看到hdfs的输出:  

查看当前用户目录下，多了个output的文件夹，查看输出结果:  

可见，hadoop和world出现了1次，hello出现了2次  

---

运行完以上任务后，可以查看hadoop的运行状态：

在任意一台机器上，只要安装有浏览器，就可以查看hadoop的运行状态

8088端口：jobtracker，mapReduce任务的运行情况(hdfs上程序运行情况)

50070端口：hdfs的管理(文件系统的运行情况)