![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
大数据交流官方群
这个作者很懒,什么都没留下…
展开
-
hadoop-源码原理剖析--------(一)手把手教你如何进行hadoop开发的环境搭建,拒绝深坑!~
手把手教你如何进行hadoop开发的环境搭建,拒绝深坑!~原创 2015-10-19 20:37:52 · 1564 阅读 · 0 评论 -
hadoop优化之MapReduce的Uber方式运行
hadoop2.x版本中新增了Uber方式运行MR。什么是Uber呢?hadoop中对于Uber做了如下的定义:1、mapreduce.job.ubertask.enable=true 首先你要启用uber模式,默认是false2、map数量3、reduce4、所有输入文件的总长度5、mapreduce.map.memory.mb(默认1024)1536M)6、原创 2015-10-21 16:27:34 · 2874 阅读 · 0 评论 -
hbase for hadoop2.X 使用 protocolbuffer 自定义filter
一.所需技能 1.搭建环境请参考http://blog.csdn.net/hadoop_83425744/article/details/49254741里面环境搭建 2.必须掌握protocol buffer 3.了解hbase的流程 二.环境搭建 1.推荐环境搭建使用linux,通过hadoop在windows的二次开发的教训决定直接使用linux环境开原创 2015-11-20 15:53:28 · 1877 阅读 · 0 评论 -
正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构
一.什么是hadoop 环形缓冲区: Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解 二.初始化mr环形缓冲区(maptask.MapOutputBuffer原创 2015-11-01 19:05:12 · 13696 阅读 · 3 评论