1、hive建表时,如果表已经存在,则脚本运行会报错,但是任务显示成功,所以建表完成后要看下日志详情
2、如果需要在测试环境里面测任务3,但是又依赖任务1,2,也就是必须等1,2跑完才能跑3,则可以从生产中取1,2的表数据,这样可以节省时间,前提是有权限
3、新建任务或字段名的时候,一定要先查下生产是否已存在任务或表中已有字段名,不要跟已有的重名
4、取字段的时候要加上别名,否则如果2张或多张表有相同的字段,容易混淆,还容易报错
5、在测试脚本时,如果需要配置系统变量,则一定要确定系统变量中是否包含了脚本中的变量,如果没有则会报错
6、hql脚本里面需要将tab转空格,但是不要把所有的文件都这样习惯性的转换,因为有的配置文件是按\t进行分隔取参数的
7、如果发版前隐约感觉到有问题,就一定要克服自己的侥幸心理,严查问题,否则上了生产再解决,代价更大
8、做数据迁移时,如果新旧表的逻辑有差异,比如新表取数条件要加分区,则一定要标识出来,否则后面可能会忽略
9、在可视化页面对hql进行explain前,必须对hql进行tab转空格处理,否则会报莫名其妙的错误
10、对于测试和生产环境有区别的地方一定要醒目的标识出来,比如库名,在上传代码前一定要改过来
经验总结3—字段别名
最新推荐文章于 2021-11-07 10:37:30 发布