7. sharding-jdbc源码之group by结果合并(2)

最新推荐文章于 2023-10-31 11:11:38 发布

原创

最新推荐文章于 2023-10-31 11:11:38 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sharding-jdbc #分库分表

本文详细分析了sharding-jdbc在处理`GROUP BY`语句时，采用`GroupByMemoryResultSetMerger`的实现原理。从ExecutorEngine构建过程到内存中聚合计算的步骤，包括`init()`、`initForFirstGroupByValue()`和`aggregate()`等关键方法，以及结果的排序和转换。文章强调了内存聚合可能带来的内存消耗问题，对于大规模数据可能导致内存溢出，提醒用户在使用sharding-jdbc时需注意此问题。

阿飞Javaer，转载请注明原创出处，谢谢！

在sharding-jdbc源码之group by结果合并(1)中主要分析了sharding-jdbc如何在GroupByStreamResultSetMerger和GroupByMemoryResultSetMerger中选择，并分析了GroupByStreamResultSetMerger的实现；接下来分析GroupByMemoryResultSetMerger的实现原理；

通过sharding-jdbc源码之group by结果合并(1)的分析可知，如果要走GroupByMemoryResultSetMerger，那么需要这样的SQL：SELECT o.status, count(o.user_id) count_user_id FROM t_order o where o.user_id=10 group by o.status order by count_user_id asc，即group by和order by的字段不一样；接下来的分析都是基于这条SQL；

ExecutorEngine.build()方法中通过return new GroupByMemoryResultSetMerger(columnLabelIndexMap, resultSets, selectStatement);调用GroupByMemoryResultSetMerger，GroupByMemoryResultSetMerger的构造方法源码如下：

public GroupByMemoryResultSetMerger(
        final Map<String, Integer> labelAndIndexMap, final List<ResultSet> resultSets, final SelectStatement selectStatement) throws SQLException {
    // labelAndIndexMap就是select结果列与位置索引的map，例如{count_user_id:2， status:1}
    super(labelAndIndexMap);
    // select查询语句
    this.selectStatement = selectStatement;
    // resultSets就是并发在多个实际表执行返回的结果集合，在多少个实际表上执行，resultSets的size就有多大；
    memoryResultSetRows = init(resultSets);
}