MySQL从A表取数据插入B表中，sql可重复执行不会造成数据重复

需求：

A表：销售人员服务表（新建表）

CREATE TABLE `goods_service_staff` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `goods_code` int NOT NULL COMMENT '商品code',
  `sale_id` bigint NOT NULL COMMENT '销售人员ID',
  `business_group` int NOT NULL COMMENT '销售人员部门',
  `is_delete` varchar(255) NOT NULL COMMENT '是否逻辑删除，0：未删除，1:删除',
  `create_time` datetime NOT NULL COMMENT '创建时间',
  `update_time` datetime NOT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

B表：老表存了销售人员信息还存了一些其他信息（销售人员信息包括，商品信息，负责商品的销售人员ID，销售人员部门ID，每个商品会存在多个销售，但是这些销售不能来自同一部门，每个部门只能有一个人负责这个商品的销售。）

CREATE TABLE `goods_message` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `goods_code` int NOT NULL COMMENT '商品code',
  `saler_id` int NOT NULL COMMENT '销售人员ID',
  `business_id` int NOT NULL COMMENT '部门ID',
  `manager_id` int NOT NULL COMMENT '管理员ID',
  `username` varchar(255) DEFAULT NULL COMMENT '用户名称',
  `email` varchar(255) DEFAULT NULL COMMENT '邮件',
  `is_first_detail` tinyint NOT NULL COMMENT '首次处理',
  `is_delete` tinyint NOT NULL COMMENT '是否删除，0:未删除，1:删除',
  `create_time` datetime NOT NULL COMMENT '创建时间',
  `update_time` datetime NOT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

对表数据重构，需要提取表B中的销售人员信息到表A中，使用SQL进行，同时这条SQL有可能被多次执行，不能在表A中因为多次执行就插入重复数据。

分析：

B表中的数据是没有唯一索引的，只有自增的主键ID，这样网上很多去重的方式都不适用。

通过商品ID，销售人员ID，销售人员部门，才可以唯一确定一条销售信息。

数据迁移其实非常容易：

INSERT INTO goods_service_staff 
( goods_code, sale_id, business_group, is_delete, create_time, update_time ) 
( SELECT goods_code, saler_id, business_id, is_delete, create_time, NOW() 
FROM goods_message 
);

 这样就可以批量迁移了。

不过无意中又点了一下执行，于是问题出现了，又插入了一批重复数据。

各种查找，没有发现mysql有在insert时候可以解决这种问题的方式，也有可能是切入点不对。只能自己苦苦思索。

解决方案：

换个思路想想，可以在插入数据时，把已经重复了的数据排除掉，不插入就好了，所以要先获取到一个goods_message的一个已经重复了的集合。（主要是只想通过SQL解决问题，通过java接口的方式，会写一些没用的一次性升级代码。）

因为goods_code,sale_id,business_group才能唯一确定一条数据，所以就先查出已经存在的商品。

select DISTINCT a.id from goods_service_staff AS st, 
(SELECT id,goods_code,saler_id,business_id FROM goods_message) AS a 
where st.goods_code = a.goods_code AND a.saler_id = st.sale_id and st.business_group = a.business_id)

这里查出了已经插入过的数据ID集合了。只要和之前插入数据的SQL一起用就可以解决问题了。

INSERT INTO goods_service_staff 
( goods_code, sale_id, business_group, is_delete, create_time, update_time ) 
( SELECT goods_code, saler_id, business_id, is_delete, create_time, NOW() 
FROM goods_message 
WHERE id NOT IN
select DISTINCT a.id from goods_service_staff AS st, 
(SELECT id,goods_code,saler_id,business_id FROM goods_message) AS a 
where st.goods_code = a.goods_code AND a.saler_id = st.sale_id and st.business_group = a.business_id)
);

总结：

多角度思考问题，当然要先多思考发现问题。

提示：

如果有错误，欢迎指出。