- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据学习日记day2
suffermapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle核心机制：数据分区，排序，缓存详细流程maptask收集map()方法输出的kv对，放到内存缓冲区中从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件多个溢出文件会被合并成大的溢出文件在溢出过程中，及合并的过程中，都要调用partit
2017-08-22 15:07:25
356
原创 大数据学习日记day1
复习hdfs的读写secondary namenode的工作原理shell脚本定时采集数据到hdfsmapreduce是一个编程框架分为两个阶段： map阶段，task并发实例各司其职reduce阶段，task并发实例依然各司其职，但依赖第一阶段的task并发实例mapreduce只能分为1个map阶段和1个reduce阶段可以通过多个mapreduce串联解决大型复杂问题mr
2017-08-21 21:21:59
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人