![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
lgfeng218
这个作者很懒,什么都没留下…
展开
-
从0开始学大数据-Hive性能优化篇
这里写自定义目录标题表设计层面优化利用分区表优化利用桶表优化选择合适的文件存储格式选择合适的压缩方式语法和参数层面优化列裁剪分区裁剪合并小文件Map 输入合并Map/Reduce输出合并合理控制 map/reduce 任务数量合理控制 mapper 数量合理控制reducer数量Join优化优先过滤数据小表 join 大表原则使用相同的连接键启用 mapjoin尽量原子操作桶表 mapjoinGr...原创 2019-07-12 10:55:45 · 419 阅读 · 0 评论 -
从0开始学大数据-Hive基础篇
文章目录Hive的特点Hive体系架构Hive运行机制Hive与关系数据库的区别Hive中的基本数据类型基本数据类型复杂数据类型Hive表创建表Hive表类型内部表外部表分区表桶表常用HiveQL整理自定义函数UDF(user-defined functions)UDAF(user-defined aggregation functions)UDTF(user-defined table-gene...原创 2019-07-12 10:57:45 · 403 阅读 · 0 评论