shell脚本并行调用jar包

已于 2023-08-18 14:30:25 修改
阅读量192 收藏
点赞数
文章标签： java bash
于 2023-08-18 14:29:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29491647/article/details/132361180
版权 
#!/bin/bash

export ETL_HOME=/home/cbd/etl
export PYTHON_HOME=/home/cbd/etl/python
source ${ETL_HOME}/.etl_profile

touser="abd@163.com" #填入企微接收者的邮件地址
today=`date +"%Y%m%d"`

user=`cat ${PYTHON_HOME}/etl_config.py | grep -o -E "ETL_USERNAME_SLAVE02(\s*)=.*" | cut -d '=' -f 2 | grep -o -E "[^\"\s]*"`
password=`cat ${PYTHON_HOME}/etl_config.py | grep -o -E "ETL_PASSWORD_SLAVE02(\s*)=.*" | cut -d '=' -f 2 | grep -o -E "[^\"\s]*"`
host=`cat ${PYTHON_HOME}/etl_config.py | grep -o -E "ETL_HOST_SLAVE02(\s*)=.*" | cut -d '=' -f 2 | grep -o -E "[^\"\s]*"`
port=`cat ${PYTHON_HOME}/etl_config.py | grep -o -E "ETL_PORT_SLAVE02(\s*)=.*" | cut -d '=' -f 2 | grep -o -E "[^\"\s]*"`
db_name=`cat ${PYTHON_HOME}/etl_config.py | grep -o -E "ETL_DB_SLAVE02(\s*)=.*" | cut -d '=' -f 2 | grep -o -E "[^\"\s]*"`

function hadoopjar(){
    CURRENT_DATE=$1
    i=$2

    table_name=`mysql -h${host} -P${port} -u${user} -p${password} -e"select check_table,targettablename from mysql.table_name where id = ${i};" | grep -o -E "[a-zA-Z_]{0,}\.[a-zA-Z0-9_]{0,}"`
    source_tablename=$(echo ${table_name[0]} | cut -d ' ' -f 1)
    DB=$(echo ${source_tablename} | cut -d '.' -f 1)
    TBL_NAME=$(echo ${source_tablename} | cut -d '.' -f 2)
    target_tablename=$(echo ${table_name[0]} | cut -d ' ' -f 2)
    tablename_tag="."
    while [[ source_tablename != *$target_tablename_tag* || $target_tablename != *$target_tablename_tag* ]]
    do
      sleep 60
      table_name=`mysql -h${host} -P${port} -u${user} -p${password} -e"select check_table,targettablename from mysql.table_name where id = ${i};" | grep -o -E "[a-zA-Z_]{0,}\.[a-zA-Z0-9_]{0,}"`
      source_tablename=$(echo ${table_name[0]} | cut -d ' ' -f 1)
      DB=$(echo ${source_tablename} | cut -d '.' -f 1)
      TBL_NAME=$(echo ${source_tablename} | cut -d '.' -f 2)
      target_tablename=$(echo ${table_name[0]} | cut -d ' ' -f 2)
    done
    echo "----------------------------id : ${i} | step 1 start | check done file | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}------------------------------------------"
    /home/cbd/etl/bin/check_done_file.sh $DB $TBL_NAME $CURRENT_DATE
    echo "----------------------------id : ${i} | step 1 end | check done file | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}------------------------------------------"
    sleep 30
    echo "----------------------------id : ${i} | step 2 start | struct | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}------------------------------------------"
    current_time=`date +"%Y%m%d%H%M%S"`
    /home/cbd/etl/bin/hadoop_jar.sh /home/cbd/etl/jar/etl-1.0-SNAPSHOT-jar-with-dependencies.jar com.ppdai.mapreduce.CommonAnalysisStructParquetRun $CURRENT_DATE 'day' $i > /home/cbd/etl/log/${target_tablename}.${current_time}.struct.log 2>&1
    RET_CODE=$?
        if [ $RET_CODE -ne 0 ]
        then
            msg="${i}-target_tablename:${target_tablename}-STRUCT-ERROR\n日志：/home/cbd/etl/log/${target_tablename}.${current_time}.struct.log"
            echo "${i}-target_tablename:${target_tablename}-STRUCT-ERROR"
            CropID=""   #填入企业ID值
            Secret=""   #填入认证密码
            GURL="https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=$CropID&corpsecret=$Secret"
            # 获取token
            Gtoken=$(/usr/bin/curl -s -G $GURL | awk -F\" '{print $10}')
            PURL="https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=$Gtoken"
            body='{
            "touser": "'$touser'",
            "msgtype": "text",
            "agentid": "1000021",
            "text":{
                  "content":"故障：'$msg' "
                     },
            "safe":0
            }'
            /usr/bin/curl --data-ascii "$body" $PURL
            exit 1
        fi
    echo "----------------------------id : ${i} | step 2 end | struct | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}------------------------------------------"
    sleep 30

    echo "----------------------------id : ${i} | step 3 start | data | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}-------------------------------------------"
    current_time=`date +"%Y%m%d%H%M%S"`
    /home/cbd/etl/bin/hadoop_jar.sh /home/cbd/etl/jar/etl-1.0-SNAPSHOT-jar-with-dependencies.jar com.ppdai.mapreduce.CommonAnalysisDataParquetRun $CURRENT_DATE 'day' $i > /home/cbd/etl/log/${target_tablename}.${current_time}.data.log 2>&1
    RET_CODE=$?
        if [ $RET_CODE -ne 0 ]
        then
            msg="${i}-target_tablename:${target_tablename}-DATA-ERROR\n日志：/home/cbd/etl/log/${target_tablename}.${current_time}.data.log"
            echo "${i}-target_tablename:${target_tablename}-DATA-ERROR"
            CropID=""   #填入企业ID值
            Secret=""   #填入认证密码
            GURL="https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=$CropID&corpsecret=$Secret"
            # 获取token
            Gtoken=$(/usr/bin/curl -s -G $GURL | awk -F\" '{print $10}')
            PURL="https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=$Gtoken"
            body='{
            "touser": "'$touser'",
            "msgtype": "text",
            "agentid": "1000021",
            "text":{
                  "content":"故障：'$msg' "
                     },
            "safe":0
            }'
            /usr/bin/curl --data-ascii "$body" $PURL
            exit 1
        fi
    echo "----------------------------id : ${i} | step 3 end | data | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}----------------------------------------------"
    sleep 30

    echo "----------------------------id : ${i} | step 4 start | touch donefile | source_tablename : ${source_tablename} | target_tablename : ${target_tablename}-----------------------------------------"
    #if [ $i -eq 18 -o $i -eq 21 ]
    #if [ ${target_tablename} = 'edw.third_midloan_bairong' ]
    #then
    #    touch /home/cbd/etl/done/edw.third_midloan_bairong_18.${today}.done
    #else
    #  touch /home/cbd/etl/done/${target_tablename}.${today}.done
    #fi
    touch /home/cbd/etl/done/${target_tablename}.${today}.done
    DONE_FILE=${DONE_HOME}/${target_tablename}.${today}.done

    echo "checking done file ${DONE_FILE}"
    while [ ! -f ${DONE_FILE} ]
    do
      target_tablename=`mysql -h${host} -P${port} -u${user} -p${password} -e"select targettablename from mysql.table_name where id = ${i};" | grep -o -E "[a-zA-Z_]{0,}\.[a-zA-Z0-9_]{0,}"`
      touch /home/cbd/etl/done/${target_tablename}.${today}.done
    done

    echo "${DONE_FILE} found"
    echo "----------------------------id : ${i} | step 4 end | touch donefile | source_tablename : ${source_tablename}-----------------------------------------"
}


id=`mysql -h${host} -P${port} -u${user} -p${password} -e"select id from mysql.table_name;" |  grep -o -E "[0-9]{0,}"`

tmp_fifofile="/tmp/$$.fifo"
mkfifo $tmp_fifofile      # 新建一个fifo类型的文件
exec 6<>$tmp_fifofile     # 将fd6指向fifo类型
rm $tmp_fifofile    #删也可以

thread_num=5  # 最大可同时执行线程数量

#根据线程总数量设置令牌个数
for ((i=0;i<${thread_num};i++));do
    echo
done >&6

for i in ${id};do # 任务数量
    # 一个read -u6命令执行一次，就从fd6中减去一个回车符，然后向下执行，
    # fd6中没有回车符的时候，就停在这了，从而实现了线程数量控制
    read -u6

    #可以把具体的需要执行的命令封装成一个函数
    {
        hadoopjar $CURRENT_DATE $i
    } &

    echo >&6 # 当进程结束以后，再向fd6中加上一个回车符，即补上了read -u6减去的那个
done

wait
exec 6>&- # 关闭fd6
echo $CURRENT_DATE

exit 0

风萧肃人萧索
关注
Linux下shell脚本启动jar包
梵莫三缘
12-05 1万+
Linux下shell脚本启动jar包     不说废话，直接上图。         这是整个目录结构，其中bin里面是启动脚本（st2.sh），lib里面是你需要启动的猪jar包和依赖的其他jar包，log里面是打印的日志。直接看脚本。     上面是完整的脚本代码，原理不多说，百度Google都可以。需要注意的地方是以下几点： 第4行的MAIN_CLASS="l
【Shell-多并发】使用Shell脚本在循环中进行多并发的操作
weixin_53543905的博客
06-27 2447
如果按照这段脚本，发现情况并不是这样的，因为 for 循环不会等待 sleep 命令执行结束后才结束，而是把命令提交给系统后自己就退出了，进而还没有1个 sleep 执行完毕之前，“all weakup” 就已经打印了。就相当于此时有10个开水房间，配有10把钥匙，此时有100个人要打开水，那么前10个人抢到钥匙，就先进去打开水，后面的90个人就需要等前面一个人出来后还回钥匙，在拿着钥匙进去打开水，这样就能控制100个人打开水的任务，同时不会将系统的资源一次性耗用太多，增加压力，减小处理速度。
shell脚本的使用步骤及jar包
08-12
shell脚本的使用步骤及jar包
shell脚本调用jar包
qq_37157658的博客
06-27 5909
shell脚本调用jar包 test.sh 文件,shell脚本文件以sh结尾 #告诉系统解释脚本文件的位置,可写可不写(最好写),写/bin/sh的时候,source命令无法执行 #!/bin/bash   #指定需要执行jar包的位置 JAVA_HOME=/usr/local/java/jdk1.8.0_11 CLASSPATH=$JAVA_HOME/bin #遍历方法,获得制定
linux使用shell脚本启动jar包 java -jar等指令
最新发布
m0_64787068的博客
12-05 3363
定义变量法一般都是头字母大写A=100echo $A #输出变量A#如果加上 `date` 代表它是已一个指令或者标量来执行A=`date`echo A$(date)等价与`` java -jar xxx.jar
shell脚本自动化执行jar包
回炉重造P的博客
09-21 1656
记录了自动执行jar的脚本，主要包含前置的判断和现有进程关闭，以及自动执行后台java命令两部分。整体的思路还是比较明确的，不过真写的时候要注意的还挺多，比如pid拿来的时候可能有多个等。自动化脚本还是比较方便，以后可以用来持续部署，挺好的。
shell脚本-大数据
12-30
Hadoop的MapReduce模型和Spark的DataFrame API可以通过shell脚本调用，实现分布式计算任务的提交。例如，通过`hadoop jar`命令运行MapReduce作业，或者用`spark-submit`启动Spark应用，这样可以利用shell脚本实现...
Shell脚本入门指南
什么是Shell脚本 ## 1.1 Shell脚本概述 Shell脚本是一种用于自动化执行任务的脚本语言。它通过解释器执行一系列的命令和语句，可以理解为在命令行中输入一条条命令的集合。脚本中的命令可以是系统命令、应用程序...
Shell脚本编写与自动化任务管理
Shell脚本基础 ### 1.1 Shell脚本概述 Shell脚本是一种用来执行一系列系统命令和用户自定义命令的脚本语言。它是在操作系统的Shell环境下运行的，可以自动化执行一些常见的任务、管理系统和软件等。 ### 1.2 ...
Shell脚本编程初步：入门与实例分析
Shell脚本采用的是文本形式的脚本语言，最常见的Shell脚本语言是Bash（Bourne Again SHell）。编写Shell脚本可以简化重复性操作，提高工作效率。 ## 1.2 Shell脚本的优势与应用场景 Shell脚本相对于其他编程语言...
springboot shell启动脚本
Forevermark的博客
07-31 1481
#!/bin/bash APP_NAME=ikoa-191217.jar #使用说明，用来提示输入参数 usage() { echo "Usage: sh 执行脚本.sh [start|stop|restart|status]" exit 1 } #检查程序是否在运行 is_exist(){ pid=`ps -ef|grep $APP_NAME|grep -v grep|awk '{print $2}' ` #如果不存在返回1，存在返回0 if [ -z "${pi
shell脚本启动jar包
weixin_44071721的博客
01-13 526
shell jar
shell 运行 jar 文件脚本
cdmamata的专栏
05-18 4187
linux 下运行 java jar 的 shell  脚本 #!/bin/sh basepath=$(cd `dirname $0`; pwd) cd $basepath cd ../ PWD=`pwd` echo $PWD for i in lib/*;     do CLASSPATH=$PWD/$i:"$CLASSPATH"; done
shell脚本启动java类或者jar包实践
CommunicationJava的博客
07-30 2605
1、直接在shell脚本中执行class文件 代码目录如下： 在目录下执行bash test.sh命令 shell脚本test.sh的代码如下 java -Xmx2048m -Xms2048m -XX:MaxNewSize=2048m -XX:MaxPermSize=2048m -XX:PermSize=2048M -XX:-UseGCOverheadLimit -Djava.awt.headless=true -verbose:gc -Xloggc:/logs/gc.log -XX:+PrintGCDe
Linux Shell 调用jar包与参数传递
热门推荐
Tino's Space
01-05 2万+
一、Shell中调用jar包并传参的方式 # jar包路径 JAR_PATH=home/bin/test.jar # 要传递的参数 PARAM="1" # 调用jar包 java -jar $JAR_PATH$PARAM 或者直接 java -jarhome/bin/test.jar"1" "1" 将传递到jar包主程序的main方法中的参数列表第一位，如果有两个参数，怎么在...
shell如何调用jar并获取返回值
tian6318的博客
02-22 1万+
前些日子，有个朋友问我，如何通过shell 调用 jar 并取到返回值（他们公司竟然用这种方式？啧啧啧），今天就做做这个，其实很简单，拿来即用，方便大家。 第一种 通过System.exit(int) 方法来获取返回值，操作步骤如下： 新建一个测试类，代码如下： package com.test; public class MyTest { public static void main(
dos或shell调用执行jar包中的main方法（适用于linux/windows/macosx）
AVATAR
04-20 2833
不同操作系统下的执行方法linux/macosx下命令行调用jar包启动jar包执行jar包内的main方法windows下命令行调用jar包 linux/macosx下命令行调用jar包 启动jar包 此方式多用于springboot构建的jar #直接启动（可以被crtl+c杀死程序） java -jar xxx.jar #后台启动 nohup java -jar xxx.jar & 执行jar包内的main方法 如果我们需要执行jar包内的某一个main方法，通常会使用如下的命令（相信互联
简单的shell运行jar包
hjkhhkjhj的博客
01-08 3579
简单的shell运行jar包 比如说我们想要在linux的root下创建个cls.txt文件 第一步 创建文件写命令 vi file.sh //创建 file.sh 文件 /** 下面的命令是start.sh 的内容 */ cd /root touch cls.txt echo "hello world">> cls.txt 第二步 赋值权限 ok 接下来还有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值