hive
qzqanlhy1314
这个作者很懒,什么都没留下…
展开
-
ORC File 文件格式
一、ORC File文件结构ORC 的全称是(Optimied Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式,它的产生在2013年初,最初产生自Apache Hive,用于降低Hadoop 数据存储空间的和加速Hive 查询速度。和Parquet 类似,它并不是一个单纯的列式存储格式,任然是首先根据行分割整个表,在每一行组内进行按列压缩存储。ORC 文件是...转载 2019-03-21 16:15:26 · 990 阅读 · 0 评论 -
hive调优一
hive优化1 . join 优化2 . order by 和sort by3 . 同一份数据多种处理4 . 本地模式5 . 并行执行6 . 严格模式7 . 调整mapper 和 reducer 个数8 . JVM 重用9 . 索引10 . 动态分区调整11 . 单个MapReduce 中多个Group By1 . join 优化当对多个表进行join时,如果每个on子句都使用相同的连接键,...原创 2019-04-03 17:36:13 · 284 阅读 · 0 评论