hadoop-mapreduce2-原理

最新推荐文章于 2020-08-27 22:09:21 发布

猿与禅

最新推荐文章于 2020-08-27 22:09:21 发布

阅读量458

点赞数

分类专栏：大数据文章标签： hadoop mapreduce

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_16038125/article/details/72581670

版权

大数据专栏收录该内容

92 篇文章 1 订阅

订阅专栏

运行原理

这里写图片描述

mr01

mr02

源码

hadoop-2.6.0-cdh5.7.0-src

mr源码

问题

为什么 map stage 需要进行排序？

MR在reduce阶段需要分组，将key相同的放在一起进行规约，为了达到该目的，有两种算法：hashmap和sort，前者太耗内存，而排序通过外排可对任意数据量分组，只要磁盘够大就行。map端排序是为了减轻reduce端排序的压力。在spark中，除了sort的方法，也提供hashmap，用户可配置，毕竟sort开销太大了

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
hadoop-mapreduce2-原理

运行原理源码hadoop-2.6.0-cdh5.7.0-src
复制链接

扫一扫

专栏目录

猿与禅 CSDN认证博客专家 CSDN认证企业博客

码龄10年

229: 原创

9754: 周排名

4454: 总排名

60万+: 访问

: 等级

6751: 积分

2856: 粉丝

246: 获赞

78: 评论

741: 收藏

私信

关注

热门文章

分类专栏

AI技术解读付费 9篇
Java技术栈源码分析付费 3篇
量化投资付费 2篇
项目管理 6篇
面试 7篇
模版 3篇
大数据 92篇
工具 4篇
爬虫 2篇
spark 51篇
数据挖掘 22篇
机器学习 18篇
springboot 20篇
jvm 4篇
微服务 4篇
j2ee 92篇
数据库 16篇
android 2篇
运维 20篇
编程思想 5篇
高并发 6篇
分布式 6篇
基础 25篇
前端 7篇
测试

最新评论

AI大模型-使用 FastChat 部署ChatGLM3
猿与禅: 可以的，文章最后有我的微信名片
AI大模型-使用 FastChat 部署ChatGLM3
湾区会客厅: 文章写的不错，有机会可以交流一下？
ollama集成open-webui本地部署大模型应用
上官夏恋: 好文，细节很到位！【我也写了一些相关领域的文章，希望能够得到博主的指导，共同进步！】
docker 安装
猿与禅: 1. **创建和启动服务容器**： - `docker-compose up`：启动服务容器并根据需要构建镜像。加上 `-d` 参数（`docker-compose up -d`）则会在后台（detached mode）启动容器。 - `docker-compose up --build`：在启动服务之前先重新构建镜像。 2. **停止并删除容器、网络和卷**： - `docker-compose down`：停止并删除由 `docker-compose up` 创建的所有资源，包括容器、网络和挂载的数据卷。若要保留卷，可以使用 `docker-compose down --volumes=false`。 3. **查看服务状态**： - `docker-compose ps`：列出所有服务及其容器的当前状态。 4. **重新创建容器**： - `docker-compose restart [SERVICE...]`：重启指定服务或所有服务的容器。 5. **进入容器**： - `docker-compose exec [SERVICE] [COMMAND]`：在指定服务的容器内执行命令。 6. **查看日志**： - `docker-compose logs [SERVICE...]`：查看服务容器的日志输出。 7. **构建镜像**： - `docker-compose build [SERVICE...]`：构建（或重新构建）服务的镜像。 8. **运行一次性命令**： - `docker-compose run [SERVICE] [COMMAND]`：在指定服务的容器中运行一次性命令，不改变服务的容器状态。 9. **配置检查**： - `docker-compose config`：验证并打印YAML配置文件的解析结果。 10. **暂停与恢复服务**： - `docker-compose pause [SERVICE...]`：暂停服务容器的运行。 - `docker-compose unpause [SERVICE...]`：恢复已暂停的服务容器。除此之外，还有其他一些命令，如： - `docker-compose pull`：拉取服务所需的镜像。 -
docker 安装
猿与禅: 1. **创建和启动服务容器**： - `docker-compose up`：启动服务容器并根据需要构建镜像。加上 `-d` 参数（`docker-compose up -d`）则会在后台（detached mode）启动容器。 - `docker-compose up --build`：在启动服务之前先重新构建镜像。 2. **停止并删除容器、网络和卷**： - `docker-compose down`：停止并删除由 `docker-compose up` 创建的所有资源，包括容器、网络和挂载的数据卷。若要保留卷，可以使用 `docker-compose down --volumes=false`。 3. **查看服务状态**： - `docker-compose ps`：列出所有服务及其容器的当前状态。 4. **重新创建容器**： - `docker-compose restart [SERVICE...]`：重启指定服务或所有服务的容器。 5. **进入容器**： - `docker-compose exec [SERVICE] [COMMAND]`：在指定服务的容器内执行命令。 6. **查看日志**： - `docker-compose logs [SERVICE...]`：查看服务容器的日志输出。 7. **构建镜像**： - `docker-compose build [SERVICE...]`：构建（或重新构建）服务的镜像。 8. **运行一次性命令**： - `docker-compose run [SERVICE] [COMMAND]`：在指定服务的容器中运行一次性命令，不改变服务的容器状态。 9. **配置检查**： - `docker-compose config`：验证并打印YAML配置文件的解析结果。 10. **暂停与恢复服务**： - `docker-compose pause [SERVICE...]`：暂停服务容器的运行。 - `docker-compose unpause [SERVICE...]`：恢复已暂停的服务容器。除此之外，还有其他一些命令，如： - `docker-compose pull`：拉取服务所需的镜像。 - `docker-compose stop`：停止服务容器而不删除它们。 - `docker-compose top`：查看服务容器中运行的进程。

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

猿与禅 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。