- 博客(2)
- 收藏
- 关注
RSS订阅原创 hivesql优化与数据倾斜处理简单总结
hive SQL优化的简单总结： 1.尽量不要使用select * from，虽代码简单，但会增加资源的使用，触发或依赖有变动时候，须核准字段； 2.除非是必要的计算，否则尽量减少使用函数； 3.distinct，使用逻辑简单，但会全表扫描，如果是大表的情况下，有索引，尽量不使用distinct； 4.多个union all 的使用，可以分写几个insert into，速度更快； 5.如果计算比较复杂，写在1个查询或建表语句中会导致速度变慢，语法错误的概率也会大大增加，可以分多个中间表计算； 6
2021-01-27 17:30:34
322
原创 flink学习1
flink：实时计算技术 天然流式特性，更加领先的架构设计 应用场景和特点 实时监控大屏，实时接收服务器负载情况，flink批流一体，即同时支持流式及批量分析应用，可承担数据实时采集，实时计算，下游发送。 flink在实时数仓和实时etl有优势： flink支持在数仓聚合计算的强大的状态管理； flink提供Stream API、Table API 、Flink SQL的丰富多层次API； flink支持多种存储，包括hdfs，es等； 事件驱动型应用 具有状态的应用，从事件流提取数据
2021-01-21 15:34:48
121
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人