mysql用update select批量处理数据
接手了一个项目,在实际的使用中发现服务器的负载很高! 于是在服务器上使用 Top 命令查看CPU和内存的使用情况,发现mysql占用的CPU最高。于是去查看了mysql的慢日志,不知道慢日志文件在哪的可以通过show variables like ‘%slow_query_log%’ 的sql语句查看。
查看了慢日志文件,发现大部分的记录都指向同一个查询:
select c.*,t3.id as cl_id,t3.start_time,t3.duration,t3.status as call_log_status
from `customer` c
LEFT JOIN (
SELECT t2.*
FROM (
SELECT cl.customer_id,max(cl.id) AS cl_id
FROM call_logs cl
WHERE cl.`user_id` = xxx
GROUP BY cl.customer_id
) AS t1
INNER JOIN call_logs t2 ON t2.id = t1.cl_id
WHERE t2.id > 0
) AS t3 ON t3.customer_id = c.customer_id
where c.`user_id` = xxx
这大致就是之前的sql,要获取的就是客户表的信息和客户对应通话记录表最新一条的通话记录的时间和通话状态。因为客户表和通话记录表为一对多的关系,之前的开发人员就用group by和max来获取了每个客户的最新通话记录,EXPLAIN分析一下这个sql语句,索引都加上了,查询效率也还是很低。因为列表查询中还有筛选字段是需要筛选最新通话记录的状态,所以也没办法单独查出客户再去遍历。
于是就想到了,在客户表中增加一个冗余字段,记录这个客户最新通话记录的ID,这样就可以省去查询效率较低的group和嵌套查询。
alter table customer add `last_call_log_id` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '最新通话记录ID';
但光添加字段还不能用,需要先把数据都跑一遍,让这个新添加的字段存储上我需要的信息,于是就用update select的方式来处理了。
UPDATE customer c
SET c.last_call_log_id = (
SELECT t2.`id` as last_call_log_id
FROM (
SELECT cl.customer_id,max(cl.id) AS cl_id
FROM call_logs cl
GROUP BY cl.customer_id
) AS t1
INNER JOIN call_logs t2 ON t2.id = t1.cl_id
WHERE t2.customer_id = c.customer_id
);
在实际运行的时候发现,有些客户没有通话记录的时候会导致数据为空报错,就又修改了下,加上了IFNULL作为判断:
UPDATE customer c
SET c.last_call_log_id = IFNULL((
SELECT t2.`id` as last_call_log_id
FROM (
SELECT cl.customer_id,max(cl.id) AS cl_id
FROM call_logs cl
GROUP BY cl.customer_id
) AS t1
INNER JOIN call_logs t2 ON t2.id = t1.cl_id
WHERE t2.customer_id = c.customer_id
),0);
跑完数据后,就可以通过直接关联的方式来获取客户的最新通话记录信息了。如果上述操作中有什么问题或者有更好的办法也欢迎大佬指出。
但在尝试的过程中,也遇到了个问题,在网上查询update select的教程时,发现可以通过如下这种写法同时set多个字段,但在实际尝试后发现不可行,一直在报错。
UPDATE <table_name> <alias>
SET (<column_name>,<column_name> ) = (
SELECT (<column_name>, <column_name>)
FROM <table_name>
WHERE <alias.column_name> = <alias.column_name>)
WHERE <column_name> <condition> <value>;