经验总结1—数据核对

1、做数据核对的时候，要具体情况具体分析，不要思维固化，不要一看到少数据，就各种查上游表

2、先动脑再动手，深度思考，抽丝剥茧，一步步到位，最终定位问题

3、如果数据对不上，看上游表的跑数日期的任务是否跑成功了(看任务日志是否有报错)，或者是否有重跑数据

4、从SVN上取生产脚本时，要确定是否与生产环境日志中的一致，有可能开发同事修改过脚本，然后直接替换了生产脚本，但是没有更新到SVN，这样你从SVN拿到的就不是最新的

5、如果hive跑任务失败了，可以在hadoop日志页面点击不同的看不同的日志，有3个click here，可以查看不同的内容

6、写hql脚本时，严禁全选代码转大、小写，一行一行来转，最好的方式是将sql关键字全部转大、小写，再将业务字段转大、小写，这样就不会改动传入的参数及其他信息，比如part='STU’这样转会出问题

7、复制、粘贴要谨慎，做复制、粘贴前必须要保证代码一致

8、跑sc或其他需要配置的工具时，如果需要配置的内容较多，那每次跑之前都要走下完整流程，别只认为改一处就可以了，否则失败了再改浪费时间

9、如果脚本中需要用union all 从同一张表中多次查询数据，可以使用create temporary table as select * from sour_table建临时表，然后下面的sql从临时表中取数据

10、如果是做新模块需求，那在发版时，必须多赶上几个测试版本，否则问题会很多