与三方合作需求同步数据需求的一些反思

与三方合作过程中的一些问题

一、数据格式不统一

1. 一些字段数据可能为空，比如小说封面数据可能为空，也可能不是按照http开头的图片格式，也可能为空串，标签也可能为空
2. 标签分割有的是按照逗号分隔的，有的是按照空格分割的
3. 同步过来的数据有emoji表情，导致数据库写入失败
4. 同步过来的数据过长，写入数据库失败

二、没有提前约定具体相关的发布时间，没有相关的一个具体时间线

1. 因为此需求中间跨度了一个春节，很多同学在这个时间都进行了请假，和其他三方合作的需求需要提前告知我们大概预估的上线时间，上线前需要做哪些准备，防止在上线前匆匆准备一些必须的物料（比如线上书单等）

我们自己的一些经典问题

一、数据同步的时候存在一些慢查询

1. 导致数据同步的速度非常慢，表结构无索引，全量扫表数据查询，不对条数进行限制

二、uat和prod环境不一致

1. 运营后台自己上传的章节，非从三方导入的内容，上传完bfs后无法正常展示

三、数据同步存在重复的漫画

1. 之前同步数据的时候，没有加入同步中的这个状态，会导致有同时在同步一本小说的情况

四、job因为执行时间过长，不可中断执行

1. 但是在实际发布中，因为我们频繁发布，很有可能会导致同步中断，我们需要保证job多次执行是幂等的

五、并发问题的处理

1. 并发删除章节，需要对小说上统计的章节字数进行相应的扣减，但是因为是同一时刻的不同请求，可能会导致数据出现覆盖从而导致扣减最终只生效了一次