linux脚本（4）——程序接着跑2.0

一、功能

脚本运行结束后，再次提交脚本，参数为下个时间点

二、编写脚本

vi test.sh

#!/bin/bash
arr=(06 07 08 09 10 11 12 13 14 15 16 17 18 19 20)
for((i=0;i<${#arr[@]};i++))
do
spark-submit --master yarn --deploy-mode cluster \
--queue demo\
--driver-memory 4g --executor-memory 40g --num-executors 6 --executor-cores 10 \
--files "./user.test.keytab" \
--conf spark.port.maxRetries=128 \
--conf spark.executor.memoryOverhead=4096 \
--conf spark.driver.memoryOverhead=1024 \
--conf spark.driver.maxResultSize=8g \
--conf spark.shuffle.service.index.cache.size=7196m \
--conf spark.network.timeout=600s \
--conf spark.reducer.maxSizeInFlight=144m \
--conf spark.executor.heartbeatInterval=60s \
--conf spark.shuffle.file.buffer=3m \
--conf spark.shuffle.io.maxRetries=6 \
--conf spark.shuffle.sort.bypassMergeThreshold=400 \
--conf spark.memory.offHeap.enabled=true \
--conf spark.memory.offHeap.size=4096 \
--conf spark.shuffle.unsafe.file.output.buffer=300m \
--conf spark.unsafe.sorter.spill.reader.buffer.size=300m \
--conf spark.default.parallelism=120 \
--conf "spark.executor.extraJavaOptions=-XX:ParallelGCThreads=5 -XX:+UseParallelGC -XX:+UseAdaptiveSizePolicy -XX:NewRatio=4" \
--class TTest.test.Test01 \
/home/root/jars/test.jar \
202208${arr[$i]} 510 070000 190000 420 210000 070000
done

三、提交方式

nohup sh test.sh > /dev/null 2>&1 &