- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 欢迎使用CSDN-markdown编辑器--
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I
2018-01-31 17:01:54
633
转载 First Markdown
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I
2018-01-30 17:01:53
267
原创 shuffle和排序
shuffle概述：MapReduce的Map阶段已经按照key来排好序。系统执行排序的过程---Map作为Reduce的输入，这个过程称为shuffle（洗牌）。 了解shuffle的过程有利于我们更好的掌握MapReduce的过程从而能够进行调优。从许多方面来看shuffle是Map-Reduce的心脏，是奇迹发生的地方。 MapReduce的shuffle过程如下图：Ma
2018-01-26 13:46:49
706
原创 Jobtrack，Tasktrack，Task失败概述
在开始描述Jobtracker，Tasktracker，Task失败之前，先回顾下Jobtracker，Tasktracker以及Task的功能。一：概述 hadoop采用的是Master/Slaves结构。Master的作用就是对整个集群进行状态监控，任务调度，作业管理。Jobtracker就是MapReduce中的Master。同理，Slaves负责执行任务和执行任务状态的返回，也就
2018-01-23 15:40:36
1056
原创 开博客原因
今天突然感觉对mapreduce的工作原理有点模糊，于是就上网搜了一篇关于MapReduce的工作原理的文章看看。看到一个小伙子的文章写的有理有调，还有自己用viso画的流程图。实在是教学版ppt，于是就去搜了他以前的博客瞅瞅，结果才发现人家写那篇文章的时候还是个大学生，后来面试进入了腾讯。瞬间感觉自己工作也有2年多了，自己还没有一次真正的系统的对一个框架或者功能做一个类似的陈述，自己是在感觉惭愧
2018-01-18 15:22:54
147
分布式网址建设指南
2018-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人