错误总结

1:导入APP端埋点日志数据到ods的时候,不小心又导入了wx小程序端埋点日志,还好刚刚创建的ods

我不应该删除这个表,应该用overwrite,直接覆盖event_app_log表

load data local inpath “/opt/data/inlogdata/event_log” overwrite into table event_app_log;  

2:创建公共表的时候要用外部表external,这样即使删除了表在hdfs也是有数据的

3 : 筛选日期的时候没有加引号,导致数据全空,也没有去验证,以为是小问题接着往下写,后测试发现为空就一层一层找了好久

4:使用sqoop时从mysql中的数据类型为date数据,导入到hive中,报错,longwribe,因为parquet类型的表要将hive类型改为bigint

5:使用sqoop时从mysql中的数据类型为date数据,从hdfs导入hive中textFile改为temestamp没有数据为null,因为文本文件没有Schema信息

6:2020-09-22使用hbase依赖,产生版本冲突,spark中有netty3.9版本,hbase也有netty

7:读入ip地址映射字典时用的read,导致有的数据解析为空因为,读取,read我给了它读取最大值数据末尾.可是它读到一小部分就返回了,最后用了readfully.一定会读到指定长度返回

 

 telnet 10.8.190.3 21050 和 telnet test03 21050一下