记录一下采集程序遇到的坑

1.下载节点下载文件不成功，因为代码文件夹扫描提前return的问题，导致没扫到文件

2.hdfs节点一直报超时，到主机上一看，节点没有启动。

3.下载节点失败是jdbc连接线程达到最大，没关闭

4.解析失败： hasHeader写成了hashHeader

5.没下载到文件夹下： 没配置下载输出路径

6.不关解析成功或者失败都说明一下细节，不然success并不一定是真的成功

7.java.lang.OutOfMemoryError: GC overhead limit exceeded  解析程序就停止了

8.重启导致  ftp_running 没删除

9.分组后，读取不到stage消息，得在每一个stage里面加上${GROUP_NAME}

10.任务超时 是因为pod重启

11.put的时候，会导致不同路径下的同名文件put，于是给生成的文件加了随机数，并加了模板不存在的提醒，程序正常许多

12.把csv的写入改了方式，改成了逐行读写，以前直接文件读入内存的方式，任务多了容易崩溃

13.下午因为硬盘满，出错，将下载文件移动到挂载硬盘，以前在系统盘。

14.当前起了两个节点，随后起5个节点

15.现在每天看任务执行成功与否，然后改程序优化，被磨得没脾气了，放在以前，斗志十足得分分钟改完。

 

16.disk pressure，导致pod重启很多，失败很多，原因是collect命名空间设置了cpu和内存大小，而pod的总使用量大于了设置的上限。

17.hdfs传输文件的时候报no such file错误，可能是开多了ftp-schedule和ftp-service的问题

现在遇到得问题有点多。多总结多学习。