- 博客(6)
- 收藏
- 关注
RSS订阅转载 mapreduce shuffle解密
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里 Shuffle是什么，那么请看这张图：
2018-01-31 16:29:31
218
原创 java堆栈思想
栈(stack):是一个先进后出的数据结构,通常用于保存方法(函数)中的参数,局部变量. 在java中,所有基本类型和引用类型都在栈中存储.栈中数据的生存空间一般在当前scopes内(就是由{...}括起来的区域). 堆(heap):是一个可动态申请的内存空间(其记录空闲内存空间的链表由操作系统维护),C中的malloc语句所产生的内存空间就在堆中. 在java中,所有使用new
2018-01-30 18:24:52
510
3
转载 HBASE中HFILE的物理存储结构
1.HFile详解 HFile文件分为以下六大部分 序号 名称 描述 1 数据块 由多个block(块)组成，每个块的格式为： [块头] + [key长] + [value长] + [key] + [value]。 2 元数据块 元数据是key-value类型的值，但元数据快只保存元数据的value值，元数据的k
2018-01-30 13:59:57
1493
转载 linux安装mysql的各种坑
mysql在linux下的安装 安装环境：系统是 centos6.5 1、下载 下载地址：http://dev.mysql.com/downloads/mysql/5.6.html#downloads 下载版本：我这里选择的5.6.33，通用版，linux下64位 也可以直接复制64位的下载地址，通过命令下载：wget http://dev.mys
2018-01-02 17:51:22
600
原创 hive相关重要变量
1.maponly 用于控制map数量 如何合并小文件，减少map数？ 假设一个SQL任务： Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’; 该任务的inputdir /group/p_sdo_data/p_sdo_data_etl/pt/popt_tb
2018-01-02 10:16:07
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人