一、发送方数据重复发送问题
问题:
1.日常我们采用定时任务开发,但是由于网络处理速度等原因,在发送没有响应结束后,就又重新发送,造成接收方,重复接收
解决方式:
(1).消息队列发送。
二、数据重复接收问题
问题:
(1) 接收到重复数据后,没有办法判断数据的唯一性,。
解决方式:
(1)添加数据来源字段,加上发送方传送过来的内容,来标识数据的唯一性。
三、数据同步时标识数据唯一性的问题
问题:
在数据同步过程中,造成,数据之间互相同步,时没有唯一标识的问题。
解决方式:
数据生产方,添加数据唯一的标识列来,确保数据的唯一性。
如果没有办法给出唯一的数据标识,但可以保证数据传递每次都不一样。可以用获取数据的md5码,进行数据唯一性确定
数据库设计
from_data_id bigint(20) comment'来源数据Id 用于回溯'
from_data_type bigint(20) comment'用于记录数据类型'
create_date_time datetime comment'创建时间 ,接收时间'
process_date_time dateTime comment'处理时间'
update_date_time comment datetime comment'更新时间'
在数据同步过程中,如果涉及上下游的业务处理逻辑,那么是必须要保证数据是可以 收到的。如果没有收到,那就会出现,数据不对等的局面,到时,没有人会给你收拾残局。