Hive
文章平均质量分 74
Hive相关知识
ShyGlow
这个作者很懒,什么都没留下…
展开
-
Hive优化-SQL调优
Hive优化-SQL调优此博客参考了其他博客:hivesql https://www.cnblogs.com/fnlingnzb-learner/p/13087976.html后续还会继续更新和优化优化的根本思想:尽早尽量过滤数据,减少每个阶段的数据量减少job数解决数据倾斜问题尽早尽量过滤数据,减少每个阶段的数据量列裁剪例如某表有a,b,c,d,e五个字段,但是我们只需要a和b,那么请用select a,b from table 而不是select * from table原创 2021-08-05 17:25:44 · 286 阅读 · 0 评论 -
Hive优化-参数调优
Hive优化-参数调优 Hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务,其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量,例如输入的数据量大小以及对这些数据执行的操作类型等。启用本地模式对于数据量比较小的操作,可以使用本地模式提交任务。因为在这种情况下,集群执行的话为查询发出执行任务的时间消耗可能会比实际job的执行执行时间要多的多#默认是falsehive>原创 2021-08-05 17:21:24 · 272 阅读 · 0 评论 -
Hive导出MySQL中文乱码问题
Hive导出MySQL中文乱码问题刚开始是认为是Hive和MySQL建表的字符集不匹配修改MySQL的字符编码:alter database xxx character set utf8;alter table xxx character set utf8;修改Hive的字符编码;alter database xxx character set utf8;alter table xxx set serdeproperties('serialization.encoding'='utf8原创 2021-08-05 17:18:20 · 813 阅读 · 0 评论