持续更新
Streaming
- 可使用serde-codec(java class) 直接从序列化的数据中获取输入
- 获取mapper输入文件名
- combiner 的实现
Hive
- 输入若为特别多小文件, 会极大影响性能, hive可以在数据进mapper前预合并.
mapper输入端:
set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat;
输出端:
set hive.merge.mapfiles = true
set hive.merge.mapredfiles = true
或者另起一个任务group by所有列. - 能用mapjoin的一定要用.
默认是小表<15M, 自动启用mapjoin. 有必要的时候也可以适当调大. 太大不行, 会OOM - 对于CPU密集型任务, 需要手动设置较大的mapper个数.
比如分词, 数据虽少, 但是计算量大, 调度器分的mapper会少, 很慢. - 压缩和序列化的使用.
对结果进行压缩+序列化, 可提高存储效率.
对map->red之间的数据压缩, 可以提高网络传输效率, 这里选快的codec比如snappy, 但是网络部分还好, 一般不用压缩. - 好功能: 动态分区.
可以根据结果, 自动插入到某个哈希分区. - 有趣的函数
比如rank(即row_number)可以实现分组排序.
percentile可以找%分位点, 有趣的近似算法. - 可以把列拆开成多行
比如原来某列里面compact了好多数据, hive支持拆成多行, latent view explode. - 黑科技: 全局排序.
全局排序在分布式系统中一般这么实现的: 先分桶, 桶内单机(each reducer)排.
所以需要找到一些分割点来分桶, 再调用total order partitioner. 用途太少, 不仔细说了.