mysql使用临时表 处理复杂数据

先说说场景 场景是需要写一个退休人员的导出  数据来源比较繁琐 需要拿到数据去查  拿主sql 的项目,证件号 去查另一张表的辅助数据 由于只通过一个 参数 去获取 获取不到唯一辅助数据 我就想到了用  这种方式去写

WHERE (a.certificate_no, a.project_id) IN (('362321195912789659', '1111').。。。)

这种方式写 数据量小还好 稍微一大就性能巨掉  导出大致8k数据 然后就超时了 排查一下 发现 里面listmap 过多   然后sql 只放在navcat 中查询就得40多秒 

然后想到了用临时表来处理 sql直接拼 join 只查询出来匹配的数据 不是刚好满足需求吗

然后就这么操作 

在业务处理层 处理流程如下 

1.先创建插入临时表 

2.再将数据批量插入临时表 

3.查询业务数据再关联临时表 

4.删除临时表 

然后上代码

//创建临时表
<update id="createTempTable" parameterType="java.lang.String">
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_conditions (
          certificate_no VARCHAR(255),
       project_id VARCHAR(10)
      )
</update>

 //批量插入

<insert id="insertIntoTempTable">
   INSERT IGNORE INTO temp_conditions (certificate_no, project_id)
   VALUES
   <foreach collection="list" item="item" separator=",">
      (#{item.employee_card}, #{item.project_id})
   </foreach>
</insert>
//查询sql
<select id="selectPensionStatusLin" resultType="map">
   SELECT
   a.certificate_no,
   a.project_id,
   b.insurance_name,
   a.insurance_record_id,
   MAX( a.insurance_record_id ),
   a.insurance_record_status
   FROM
   insurance_record a
   LEFT JOIN insurance_record_detail b ON a.insurance_record_id = b.insurance_record_id
       JOIN temp_conditions c ON a.certificate_no =c.certificate_no AND a.project_id = c.project_id
   where b.insurance_name = '养老'
   GROUP BY a.certificate_no
</select>

 //使用完毕进行删除临时表

<delete id="dropTempTable">
   DROP TABLE IF EXISTS temp_conditions
</delete>

注意 如果使用的是连接池的话 临时表生命周期 是根据数据库连接的生命周期一致 创建 销毁,众所周知 连接池就是避免频繁创建 销毁 而产生的 额外资源消耗 所以使用线程池的话一定不要忘记删除临时表  还有在多线程中临时表使用也可能会有问题 。

以上就是这次的总结 有不对的地方希望各位大牛们指正。

  • 10
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值