qq_42160456的博客

hive定位数据倾斜及通用的解决方案

1.基础优化1.1 hive并行操作Hive编译查询限制 : (一般是作为通用配置: cm的hive上面)说明: Hive默认同时只能编译一段HiveQL，并上锁 如何解决多个会话时, 同时只能有一个会话进行编译的问题 ? hive.driver.parallel.compilation 设置为true 是否开启一次性编译多个sql的功能 默认为 false hive.driver.parallel.compilation.global.limit 默认值为3 表示一次性最多

1、项目背景1、近年来，在线教育产业发展十分迅速。尤其是2018年以来，在线教育平台动作不断，除了洋葱数学、考虫、作业盒子、火花思维、VIPKID、阿卡索等平台纷纷融资外，诸多在线教育平台纷纷上市。新东方在线也在2019年3月成功上市。在市场规模方面，在线教育很大程度上是随着移动互联网的浪潮发展起来的，在传统的PC时代，虽然出现了网络教育形式，但是真正的所谓在线教育仍然是在2011年左右开始爆发的，这也正是移动互联网发展和普及的时间点。统计数据显示，2011-2017年中国在线教育市场规模呈逐年增长趋

1、数仓建模（事实表、维度表、维度建模数据类型）2、渐变维3、数仓分层（ODS、DW/DWD/DWM/DWS、APP）4、HUE操作5、Oozie设置调度方式6、sqoop操作