实验三 MapReduce分布式编程、调试WordCount程序

最新推荐文章于 2023-06-01 11:50:29 发布

喜欢你呀

最新推荐文章于 2023-06-01 11:50:29 发布

阅读量690

点赞数

本文链接：https://blog.csdn.net/weixin_44722769/article/details/90581553

版权

本文介绍了MapReduce编程模型的基础知识，详细阐述了实验步骤，包括如何在HDFS上进行文件操作，如何生成和运行MapReduce程序，特别是WordCount程序的执行过程，涉及Hadoop的MapReduce和HDFS系统。

摘要由CSDN通过智能技术生成

一、定义
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
二、实验步骤
（1）所需系统及工具
HDFS 分布式存储系统
MapReduce 分布式计算系统
YARN hadoop 的资源调度系统
Common 以上三大组件的底层支撑组件，提供基础工具包和 RPC 框架等
（2）HDFS中的常用的命令
-mkdir 在HDFS创建目录 hdfs dfs -mkdir /data
-ls 查看当前目录 hdfs dfs -ls /
-ls -R 查看目录与子目录
-put 上传一个文件 hdfs dfs -put data.txt /data/input
-moveFromLocal 上传一个文件，会删除本地文件：ctrl + X
-copyFromLocal 上传一个文件，与put一样
-copyToLocal 下载文件 hdfs dfs -copyToLocal /data/input/data.txt
-get 下载文件 hdfs dfs -get /data/input/data.txt
-rm 删除文件 hdfs dfs -rm /data/input/data.txt
-getmerge 将目录所有的文件先合并，再下载
-cp 拷贝： hdfs dfs