MapReduce分布式计算

MapReduce计算的数据准备

对 hdfs 具体操作细节请参考另一篇博文

在桌面新建一个 testinput.txt 文本

touch /home/hadoop/桌面/testinput.txt		

启动 hadoop:

cd /usr/local/hadoop
./sbin/start-dfs.sh
jps

创建 hdfs 虚拟文件 input1 和 input2:

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop/input1
./bin/hdfs dfs -mkdir -p /user/hadoop/input2
./bin/hdfs dfs -ls			# 查看hdfs下的文件目录

将桌面文件 testinput.txt 文件上传至 hdfs 的 input1 文件夹中：

./bin/hdfs dfs -put /home/hadoop/桌面/testinput.txt input1

将 etc/hadoop 下的所有 xml 文件上传至 HDFS 的 input2 文件夹中：

./bin/hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input2

---

基于MapReduce的圆周率计算

进入 share/hadoop/mapreduce 文件夹,找到 hadoop-mapreduce-examples-3.2.0.jar :

cd /usr/local/hadoop/share/hadoop/mapreduce

使用 Hadoop 自带例子 pi 计算圆周率：

cd /usr/local/hadoop
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 50 50		# 注意修改为自己的版本号

50是运行50次map任务
100是每个map任务投掷次数，所以总投掷次数是50×100=5000

实现的原理

---

MapReduce 的 Wordcount 计算

创建 hdfs 虚拟文件 output1（其实本步可以省略）：

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop/output1

使用 MapReduce 的 wordcount 统计 input1 目录中的文本英文单词数：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /user/hadoop/input1 /user/hadoop/output1/wordcount		# 主要修改为自己的版本号

查看 output1/wordcount 目录下的文件:

./bin/hdfs dfs -ls output1/wordcount

查看统计结果：

./bin/hdfs dfs -cat output1/wordcount/part-r-00000

该实验遇到的报错：

/input1 路径不存在，这个摸鱼怪忘加 /user/hadoop/ ，在这里犯二了；该路径应是建立文件时的完整路径😂😂

/user/hadoop/output1 文件已经存在，wordcount 程序会根据输出数据路径新建文件（所以这也是上面提到可以省略建立虚拟文件 output1），重新指定路径为：/user/hadoop/output1/wordcount

---

MapReduce的正则表达式计算

创建 hdfs 虚拟文件 output2（同样此步也可以省略）：

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop/output2

使用 MapReduce 的 grep 程序统计 input2 目录中的 XML 文本中满足’dfs[a-z.]+ ’匹配规则的字符：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /user/hadoop/input2 /user/hadoop/output2/count 'dfs[a-z.]+'	# 主要修改为自己的版本号

查看统计结果：

./bin/hdfs dfs -cat output2/count/part-r-00000

至此，实验内容已经完成了，主要用到了 MapReduce 自带的 pi、wordcount、grep例子

如果还有什么不足，还希望大佬指正！！！

参考文章：

• 运行Hadoop自带的MapReduce WordCount单词统计程序
• 使用Hadoop自带的例子pi计算圆周率