![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
华天雪 L.W
这个作者很懒,什么都没留下…
展开
-
云计算学习笔记2
map端的shuffle过程分区、排序、合并归并与合并是不同的操作对溢写文件进行合并合并:<“a”,1>,<“a”,1>得到<“a”,2>归并:<“a”,<1,1>>map中存在本地磁盘只有内存放不下了,才放到磁盘中MapReduce执行过程:分片0~M实例:wordcount输入:单词输出:单词,词频reduc...原创 2020-03-26 21:41:51 · 88 阅读 · 0 评论 -
云计算学习笔记
Hadoop在廉价的服务器上就可以运行分布式并行MapReduce,容错性好,普通的PC机,简单,批处理,非实时,数据密集型MapReduce主要是针对大数据的,不需要了解底层的细节,只要关注业务逻辑就好了。交作业:拍照片上传。设计理念:计算向数据靠拢,是为了避免传输网络开销。采用了主从结构:master/slavemaster上运行jobtrackslave上运行tasktrac...原创 2020-03-26 20:54:16 · 333 阅读 · 0 评论