2019.05.24 工作

在BatteryCareSparkJob中写了一个object TestIntegrateSplit 用于对/user/log/integrate数据进行切分扩列

出现了个问题

无法执行自己定义的任务

日志中有个细节我忽略了，在求array的最大值 array.max的时候 提示empty.max。

经过提示想到，在原始数据中可能存在空行，所以报错。经过修改，加入判断逻辑，判断该array的length，如果为0，直接赋一个错误值。-9999

文件输出路径为/user/log/integrateSplit

 

清理服务器空间

查看使用情况

df -h

du -h --max-depth=1

一层一层查看哪个文件夹占用空间过多

 

修改了 exceptionDetailVin程序逻辑

把小表 vin st et collect后变成list

然后把小df的添加两列st et 然后filter

 

380371    L6T78Y4W3GN027907    1487547983    1487560513    2017-02-20 07:46:23    2017-02-20 11:15:13    2    123    12530    114.71198638888889    41.12921305555555    calm    0.1951219512195122    0.5085324232081911    0.48464163822525597    50.752104664391425    3740    2939.1666666666665    NULL    NULL    NULL    NULL    NULL    24    0    62    90    0    1    217    0    0.1702460850111856    -0.1997978612415231    0.12222222222222216    37.24914675767918    0.7963594994311718    182.7    -52.6    37.952218430034165    100    0    100    396    320    349.613196814562    7    -11    -2    81    2    0.12222222222222216    0.23417926383794385    28.278773716556568