在BatteryCareSparkJob中写了一个object TestIntegrateSplit 用于对/user/log/integrate数据进行切分扩列
出现了个问题
无法执行自己定义的任务
日志中有个细节我忽略了,在求array的最大值 array.max的时候 提示empty.max。
经过提示想到,在原始数据中可能存在空行,所以报错。经过修改,加入判断逻辑,判断该array的length,如果为0,直接赋一个错误值。-9999
文件输出路径为/user/log/integrateSplit
清理服务器空间
查看使用情况
df -h
du -h --max-depth=1
一层一层查看哪个文件夹占用空间过多
修改了 exceptionDetailVin程序逻辑
把小表 vin st et collect后变成list
然后把小df的添加两列st et 然后filter
380371 L6T78Y4W3GN027907 1487547983 1487560513 2017-02-20 07:46:23 2017-02-20 11:15:13 2 123 12530 114.71198638888889 41.12921305555555 calm 0.1951219512195122 0.5085324232081911 0.48464163822525597 50.752104664391425 3740 2939.1666666666665 NULL NULL NULL NULL NULL 24 0 62 90 0 1 217 0 0.1702460850111856 -0.1997978612415231 0.12222222222222216 37.24914675767918 0.7963594994311718 182.7 -52.6 37.952218430034165 100 0 100 396 320 349.613196814562 7 -11 -2 81 2 0.12222222222222216 0.23417926383794385 28.278773716556568