2019.08.08

今天是对算法输出的异常检测程序进行打包测试，将结果输出到mysql的exception_list表中。

spark2-submit \
--jars dependences.jar \
--class "MainApp.MainApp" \
--files settings.properties,threshold.properties \
--driver-memory 15g \
--executor-memory 20g \
--num-executors 10 \
--conf spark.executor.cores=2 \
--conf spark.executor.memoryOverhead=4096 \
--conf spark.driver.memoryOverhead=4096 \
--conf spark.default.parallelism=40 \
--master yarn \
--deploy-mode cluster \
AnomalyDetection-20190819.jar \
GenerateRuleThreshold



spark2-submit \
--jars dependences.jar \
--class "MainApp.MainApp" \
--files settings.properties,threshold.properties \
--driver-memory 15g \
--executor-memory 20g \
--num-executors 10 \
--conf spark.executor.cores=2 \
--conf spark.executor.memoryOverhead=4096 \
--conf spark.driver.memoryOverhead=4096 \
--conf spark.default.parallelism=40 \
--master yarn \
--deploy-mode cluster \
AnomalyDetection-20190819.jar \
ChargeFaultDetection



spark2-submit \
--jars dependences.jar \
--class "MainApp.MainApp" \
--files settings.properties,threshold.properties \
--driver-memory 15g \
--executor-memory 20g \
--num-executors 10 \
--conf spark.executor.cores=2 \
--conf spark.executor.memoryOverhead=4096 \
--conf spark.driver.memoryOverhead=4096 \
--conf spark.default.parallelism=40 \
--master yarn \
--deploy-mode cluster \
AnomalyDetection-20190819.jar \
VoltageDifferenceIncrement \
20190501 \
20

这是三个提交命令。

按charge和按小时输出异常车辆。输出路径都在setting.properties中，

后续可以用shell脚本控制setting.properties。用 sed -i 's/*/*/g' setting.properties修改输出路径。加入天和小时的文件路径。

今天碰到的问题

1.shell脚本用$@传参，spark-submit命令失败。原因是--files 中的多个文件中的逗号中不要加空格。会导致问题

 

2.spark 多路径 * 输入？

3.spark groupBy和groupByKey的区别？