Poolweet_的博客

简单描述Shuffle过程环形缓冲区的作用？key，value从map()方法输出，被outputcollector收集通过getpartitioner()方法获取分区号，在进入环形缓冲区。默认情况下，环形缓冲区大小值为100MB。当map输入的数据进入环形缓冲区的量达到80MB以上时，那么开始执行溢写过程，溢写过程中如果有其他数据进入，那么由剩余的百分之20反向写入。溢写过程会根据key，v...

1.mapreduce定义和优缺点？MapReduce定义：是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在hadoop集群上优点：1、易于编程它简单实现一些接口，就可以完成一个分布式程序，这个分布式可以分布到大量廉价的pc机器上运行2、良好的扩展性...