记一次查询性能优化，原30s+，现0.5s~20s

记一次查询性能优化，原30s+，现0.5s~20s

原查询sql是 两张大表（用户合同表二百多万，合同信息表三百万）联查并按用户id分组，再左连接上6张小表（小表先根据日期查询并按用户id分组），查询条件是用户或机构，再根据机构排序分页。

 

 

 

优化过程：

0.给相关列添加索引是首先的。

1.因为该查询接口最终返回的是总记录数和当前页的人员信息，所以首先考虑查询总记录时没必要这么多张表关联查询。

2.原查询分页是用的sql语句中的分页，而sql中的分页是需要将全量数据搂出来，再返回分页对应的数据，此处考虑在代码中做分页——Java8 Stream流的skip和limit方法组合使用

3.分析查询条件是人员或机构，所以在查询总记录数时，只要影响查询总记录数的表（用户合同表和用户机构表），此处有两种方式：一种是先根据查询条件（人员或机构）查询用户机构表（几千小表），查询出来符合条件的用户，并根据机构排序，再根据用户查询用户合同表（二百多万大表），则返回的记录大小即总记录数；另一种是用户机构表（几千小表）和用户合同表（二百多万大表）根据用户id关联，再根据查询条件（人员或机构）查询，并根据机构排序，则返回的记录大小即总记录数。通过在程序中打印耗时，发现方式一更快，耗时更少。

4.排序：接3的方式一，使用用户机构表查询出来符合条件的用户集合和用户合同表查询出来符合条件的用户集合整合，筛选完的 用户机构表查询出来符合条件的用户集合 即排序好的记录。

5.分页：使用 Java8 Stream流的skip和limit方法组合 取出当前页的用户。

6.再根据当前页的用户id分别查询合同信息表（三百万）和其他几个小表（几千），对查询结果再使用Java8 Stream流的groupingBy分组。

7.将相关数据字段整合到一起返回。

后记：以上优化的问题是因为表的数据量太大，关联查询的表太多，导致查询耗时太长。所以一定要将两张大表的关联拆开，再将多表关联拆分，只保留影响查询结果的表。其次使用了Java8的Stream流相关API使相关数据筛选更加便捷高效。

注意：1.用户id集合的非空判断，否则直接作为查询条件，有可能会查询出全量数据，如下sql：

select column_1,column_2 from table_1
<where>
  is_del=0
  <if test="list != null">
    <foreach collection="list" index="index" item="col" open=" AND column_1 IN (" separator="," close=")">
       #{col,jdbcType=VARCHAR}
    </foreach>
  </if>
</where>