DS调试问题总结

DS调度框架问题

1. java.nio.file.NoSuchFileException: /tmp/dolphinscheduler/exec/process/4/3912/2533/6642/3912_2533_6642_node.sh

权限问题，租户对应的操作/tmp/dolphinscheduler/exec/process/4/3912/2533/6642目录的用户不一致

2. 任务一直在运行

Ambari默认内存是8G，导致少量任务使用完了所有的yarn内存，其他任务一直在等待，修改MapReduce AppMaster为2G

3. 任务会出现随机失败的情况，并且没有日志

当服务器的可使用内存<服务器的总内存*worker.reserved.memory，DS不会启动该任务，需要调小worker.reserved.memory

调试问题

4. 没有GETDATE()函数,可以改成current_timestamp()或者from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss')

5. 空指针NullPointerException: null

流程的参数漏了，或者没写对

6. 依赖一直在等待

依赖配置有问题，或者上游还没跑完，或者有依赖自身节点、或者依赖报错

7. 正则表达式`(id)?+.+`和${system.biz.date}同时存在可能会报错

DS对正则表达式不够兼容，需要改成查询列名

8. to_char改成date_format

9. Hive没有GETDATE()函数,可以改成current_timestamp()或者from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss')

10. datetime类型报错，改为timestamp

多条sql不能用;分开，否则会报错，可以使用前置sql或者后置sql

11. mportTool: Import failed: java.io.IOException: Caught Exception checking database column scheme_explain_time in  hcatalog table

hive中可能不存在scheme_explain_time这个字段，需加上

12. GROUPPING_ID和dataworks不一致

加参数hive.strict.checks.type.safety=false、去掉GROUPPING_ID后面的括号、将GROUPING_ID修改为GROUPING__ID、然后把0改1、1改0

13. 日期 0000-00-00 00:00:00 导入错误添加   注意一定要加反斜杠

14. sqoop导入的时候，报ERROR tool.ImportTool: Import failed: Import job failed!

     INFO metastore.HiveMetaStoreClient: Closed a connection to metastore, current connections:解决: mysql列的类型和hive列的类型对应有问题，可以检查mysql的date类型的字段在hive中是不是date，如果不是date，需要修改hive中列的类型修改为date