文章探讨了数据处理中的关键问题，如数据倾斜在GroupBy操作中的影响，以及如何通过两阶段去重来解决。同时，提到了动态工作负载再平衡技术以应对慢节点问题，并关注P99时延。资源隔离是另一个重要议题，因为查询、导入、压缩等任务间的资源竞争会影响性能。此外，并发控制和大查询的管理，以及查询重试策略也是优化数据处理的关键方面。
数据倾斜
低基数 Group By + 高基数去重
两阶段去重：
SELECT day, COUNT(DISTINCT user_id)
FROM T
GROUP BY day
自动改写成
SELECT day, SUM(cnt)
FROM (
SELECT day, COUNT(DISTINCT user_id) as cnt
FROM T
GROUP BY day, MOD(HASH_CODE(user_id), 1024)
)
GROUP BY day
慢节点
dynamic work rebalancing
https://cloud.google.com/blog/products/gcp/no-shard-left-behind-dynamic-work-rebalancing-in-google-cloud-dataflow
P99 时延
资源隔离
查询，导入，Compaction, Schema Change, 统计信息收集，数据均衡 等多种任务资源相互影响
并发控制
大查询
查询重试策略
本文由 mdnice 多平台发布
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
