需求:
A表:销售人员服务表(新建表)
CREATE TABLE `goods_service_staff` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`goods_code` int NOT NULL COMMENT '商品code',
`sale_id` bigint NOT NULL COMMENT '销售人员ID',
`business_group` int NOT NULL COMMENT '销售人员部门',
`is_delete` varchar(255) NOT NULL COMMENT '是否逻辑删除,0:未删除,1:删除',
`create_time` datetime NOT NULL COMMENT '创建时间',
`update_time` datetime NOT NULL COMMENT '更新时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
B表:老表存了销售人员信息还存了一些其他信息(销售人员信息包括,商品信息,负责商品的销售人员ID,销售人员部门ID,每个商品会存在多个销售,但是这些销售不能来自同一部门,每个部门只能有一个人负责这个商品的销售。)
CREATE TABLE `goods_message` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`goods_code` int NOT NULL COMMENT '商品code',
`saler_id` int NOT NULL COMMENT '销售人员ID',
`business_id` int NOT NULL COMMENT '部门ID',
`manager_id` int NOT NULL COMMENT '管理员ID',
`username` varchar(255) DEFAULT NULL COMMENT '用户名称',
`email` varchar(255) DEFAULT NULL COMMENT '邮件',
`is_first_detail` tinyint NOT NULL COMMENT '首次处理',
`is_delete` tinyint NOT NULL COMMENT '是否删除,0:未删除,1:删除',
`create_time` datetime NOT NULL COMMENT '创建时间',
`update_time` datetime NOT NULL COMMENT '更新时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
对表数据重构,需要提取表B中的销售人员信息到表A中,使用SQL进行,同时这条SQL有可能被多次执行,不能在表A中因为多次执行就插入重复数据。
分析:
B表中的数据是没有唯一索引的,只有自增的主键ID,这样网上很多去重的方式都不适用。
通过商品ID,销售人员ID,销售人员部门,才可以唯一确定一条销售信息。
数据迁移其实非常容易:
INSERT INTO goods_service_staff
( goods_code, sale_id, business_group, is_delete, create_time, update_time )
( SELECT goods_code, saler_id, business_id, is_delete, create_time, NOW()
FROM goods_message
);
这样就可以批量迁移了。
不过无意中又点了一下执行,于是问题出现了,又插入了一批重复数据。
各种查找,没有发现mysql有在insert时候可以解决这种问题的方式,也有可能是切入点不对。只能自己苦苦思索。
解决方案:
换个思路想想,可以在插入数据时,把已经重复了的数据排除掉,不插入就好了,所以要先获取到一个goods_message的一个已经重复了的集合。(主要是只想通过SQL解决问题,通过java接口的方式,会写一些没用的一次性升级代码。)
因为goods_code,sale_id,business_group才能唯一确定一条数据,所以就先查出已经存在的商品。
select DISTINCT a.id from goods_service_staff AS st,
(SELECT id,goods_code,saler_id,business_id FROM goods_message) AS a
where st.goods_code = a.goods_code AND a.saler_id = st.sale_id and st.business_group = a.business_id)
这里查出了已经插入过的数据ID集合了。只要和之前插入数据的SQL一起用就可以解决问题了。
INSERT INTO goods_service_staff
( goods_code, sale_id, business_group, is_delete, create_time, update_time )
( SELECT goods_code, saler_id, business_id, is_delete, create_time, NOW()
FROM goods_message
WHERE id NOT IN
select DISTINCT a.id from goods_service_staff AS st,
(SELECT id,goods_code,saler_id,business_id FROM goods_message) AS a
where st.goods_code = a.goods_code AND a.saler_id = st.sale_id and st.business_group = a.business_id)
);
总结:
多角度思考问题,当然要先多思考发现问题。
提示:
如果有错误,欢迎指出。