经验总结1—数据核对

1、做数据核对的时候,要具体情况具体分析,不要思维固化,不要一看到少数据,就各种查上游表

2、先动脑再动手,深度思考,抽丝剥茧,一步步到位,最终定位问题

3、如果数据对不上,看上游表的跑数日期的任务是否跑成功了(看任务日志是否有报错),或者是否有重跑数据

4、从SVN上取生产脚本时,要确定是否与生产环境日志中的一致,有可能开发同事修改过脚本,然后直接替换了生产脚本,但是没有更新到SVN,这样你从SVN拿到的就不是最新的

5、如果hive跑任务失败了,可以在hadoop日志页面点击不同的看不同的日志,有3个click here,可以查看不同的内容

6、写hql脚本时,严禁全选代码转大、小写,一行一行来转,最好的方式是将sql关键字全部转大、小写,再将业务字段转大、小写,这样就不会改动传入的参数及其他信息,比如part='STU’这样转会出问题

7、复制、粘贴要谨慎,做复制、粘贴前必须要保证代码一致

8、跑sc或其他需要配置的工具时,如果需要配置的内容较多,那每次跑之前都要走下完整流程,别只认为改一处就可以了,否则失败了再改浪费时间

9、如果脚本中需要用union all 从同一张表中多次查询数据,可以使用create temporary table as select * from sour_table建临时表,然后下面的sql从临时表中取数据

10、如果是做新模块需求,那在发版时,必须多赶上几个测试版本,否则问题会很多

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页