【碎碎念】——结合导数据反思系统的不完美

    最近博客没有怎么更新，主要是小编最近半个月的时间都在导数据，这种酸楚导过数据都懂吧！！！有的时候导数据厌烦了，就和周围的同事开玩笑说下次找工作可以在简历上写精通导数据了！！！

    工作三年半来，每次产品准备上线的时候必要会经历一波长时间的导数据过程，之前每次导数据都是先拿到用户的数据，完全人工的方式整理为系统能支撑的格式导入系统。这个过程会发现用户数据的错误，但是整体来说数据不正确的地方还是比较少，在加上人工对每个数据都进行了核对，所以录入系统之后发生的问题相对来说还是比较少的。但是这次为了减少人员的工作量，开发了工具将用户的数据通过工具转换为系统支撑格式，这样直接录入系统，其实这个过程相比之前轻松很多，但是这次！！！缺少了人工校对进入系统的数据存在很多问题，再加上这次提供数据的用户本身不怎么认真，数据源的失误再加上原始数据的不断修改，造成我一部分每天的工作基本上都是对可以导入系统的数据反复校对，筛选，核实甄别，录入。同样一波数据整体大概1万多条数据，折腾了半个多月的数据，到目前为止也不敢说数据完全正确了。

    数据问题归纳

    1、数据重复

    2、多条数据中关键展示信息重复，但是细节却不相同（最多）

    3、数据不完整

    4、关键信息中存在不符合要求的地方

    这些数据拆分成系统规定的格式大概4~5万条，如果单纯依靠人工校对，真是不敢保证。在数据校对过程也利用excel文件的高级操作，sql语句去重过滤等方式，但是这些辅助手段不能解决根本问题。因为当系统上线后这些数据基本上有客户自己维护，无论是从页面校对还是从系统导入这些问题都是很难避免的。开软件的有个目标，希望可以尽可能的减少用户使用的复杂度，用最简单的方式去完成系统的使用，希望用户可以不用看教程就能学会系统的使用！

    在数据校验上的问题，刚好说明我对自己的模块做的还不够完整，我反思了一下我自己这一部分做的不完美的地方

    1、多重条件校对重复数据的问题，如何合理区分哪些大意相同的重复的数据？

    2、如何判别数据的不完整问题？

    3、校对录入过程不合法数据？

    4、如何真正实现人工智能的判断？

    5、程序的用户体验度，减轻用户的录入工作，进而减少错误

    6、表结构过于复杂，存在冗余的问题。

    7、面对新的需求时间不足，造成程序复杂。

    8、和用户交流不够

    经过这次导数据，虽然过程很痛苦，但是关于系统的开发有更深入的认知，如果能做的尽可能完美，或许其中大部分问题就会解决的更快吧。

    革命成功仍有距离，继续努力吧。