定时调度脚本，刷数脚本

最新推荐文章于 2024-06-17 17:35:06 发布
最新推荐文章于 2024-06-17 17:35:06 发布
阅读量115 收藏
点赞数 4
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shen13414959064/article/details/136389831
版权 
#!/bin/sh

#加上认证,不加的话可能会有很多未知错误
export TZ=Asia/Shanghai
export HDP_VERSION='3.1.0.14-1'
export KRB5_CONFIG=/usr/java/default/jre/lib/security/krb5.conf
kinit -kt /u/users/$USER/.$USER.keytab $USER

#订单跑数
start_date=$1

end_date=$2

sql_path=$3

log_path=$4

run_type=$5
#跑月
if [ "$run_type" = "month" ]; then   #如果是要跑月

	while(( $start_date <= $end_date ))
	do
		#程序开始的时间戳
		start_current=`date "+%Y-%m-%d %H:%M:%S"`
		start_timestamp=`date -d "$start_current" +%s`
		#月初
		m_start_date=`date -d "${start_date:0:4}${start_date:4:2}01" +%Y-%m-%d`
		#月末 
		m_end_date=`date -d "$start_date next month" +%Y-%m-%d`
		m_end_date=`date -d "${m_end_date:0:4}${m_end_date:5:2}01 -1 day" +%Y-%m-%d`
		#系统时间的昨天
		yestoday_int=`date -d "1 days ago" +%Y%m%d`
		yestoday_str=`date -d "1 days ago" +%Y-%m-%d`
		#月末不带-
		m_end_time=`date -d "$m_end_date" +"%Y%m%d"`
		#重试机制
		for(( i=1;i<4;i++)) do
			if [ "$m_end_time" -gt "$yestoday_int" ]; then  #判断月末时间是否大于昨天,大于昨天的话将月末日期改为昨天
				m_end_date=$yestoday_str
				echo "传入参数1：$m_start_date"
				echo "传入参数2：$m_end_date"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar start_date=$m_start_date -hivevar end_date=$m_end_date -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break 2
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi
			else 
				echo "传入参数1：$m_start_date"
				echo "传入参数2：$m_end_date"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar start_date=$m_start_date -hivevar end_date=$m_end_date -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi
			fi
		done
		#下一次循环
		start_date=`date -d " +1 day $m_end_date" +"%Y%m%d"`
	done;
#跑天
elif [ "$run_type" = "day" ]; then    #如果是要跑天
	while(( $start_date <= $end_date ))
	do
		#程序开始的时间戳
		start_current=`date "+%Y-%m-%d %H:%M:%S"`
		start_timestamp=`date -d "$start_current" +%s`
		#系统时间的昨天
		yestoday_i=`date -d "1 days ago" +%Y%m%d`
		yestoday_s=`date -d "1 days ago" +%Y-%m-%d`
		#重试机制
		for(( i=1;i<4;i++)) do
			if [ "$start_date" -gt "$yestoday_i" ]; then  #判断跑数时间是否大于昨天,大于昨天的话将日期改为昨天
				yestoday_str=$yestoday_s
				echo "传入参数：$yestoday_str"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar yestoday_str=$yestoday_str -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break 2
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi				
			else
				yestoday_str=$(date -d "$start_date" +%Y-%m-%d)
				echo "传入参数：$yestoday_str"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar yestoday_str=$yestoday_str -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi				
			fi
		done
		#下一次循环
		start_date=$(date -d "$yestoday_str 1 day" +%Y%m%d)
	done
#跑半月
elif [ "$run_type" = "halfMonth" ]; then    #如果是要跑半月
	while(( $start_date <= $end_date ))
	do
		#程序开始的时间戳
		start_current=`date "+%Y-%m-%d %H:%M:%S"`
		start_timestamp=`date -d "$start_current" +%s`
		#脚本开始时间
		m_start_date=`date -d "$start_date" +%Y-%m-%d`
		#脚本结束时间 
		m_end_date=`date -d " +15 day $m_start_date" +%Y-%m-%d`
		#系统时间的昨天
		yestoday_int=`date -d "1 days ago" +%Y%m%d`
		yestoday_str=`date -d "1 days ago" +%Y-%m-%d`
		#脚本结束时间 -
		m_end_time=`date -d "$m_end_date" +"%Y%m%d"`
		#重试机制
		for(( i=1;i<4;i++)) do
			if [ "$m_end_time" -gt "$yestoday_int" ]; then  #判断脚本结束时间是否大于昨天,大于昨天的话将脚本结束时间改为昨天
				m_end_date=$yestoday_str
				echo "传入参数1：$m_start_date"
				echo "传入参数2：$m_end_date"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar start_date=$m_start_date -hivevar end_date=$m_end_date -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break 2
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi
			else 
				echo "传入参数1：$m_start_date"
				echo "传入参数2：$m_end_date"
                echo "脚本运行开始时间:$start_current"
				hive -hivevar start_date=$m_start_date -hivevar end_date=$m_end_date -f $sql_path > $log_path 2>&1
				ret=$?
				# hive执行成功
				if [ $ret -eq 0 ] ; then
					#程序结束的时间戳
					end_current=`date "+%Y-%m-%d %H:%M:%S"`
					end_timestamp=`date -d "$end_current" +%s`
					run_time=`expr $end_timestamp - $start_timestamp`
					echo "脚本运行结束时间：$end_current"
					echo "脚本运行时间共：$run_time秒"
                    echo "执行成功,开始下一个周期"
					break
				fi
				# hive执行失败
				if [ $ret -gt 0 ] ; then
					echo "执行失败,开始重试下一次"
					continue
				fi
			fi
		done
		#下一次循环
		start_date=`date -d " +1 day $m_end_date" +"%Y%m%d"`
	done;
fi

#./run.sh 20210601 20220810 /u/users/vn53xks/code/test.sql /u/users/vn53xks/code/test.log month 使用案例
#tailf /u/users/vn53xks/code/test.log  实时查看日志

#nohup bash run.sh 20211201 20220801 /u/users/vn53xks/code/test.sql /u/users/vn53xks/code/test.log month &  放入后台跑
#ps -ef | grep run.sh  查看脚本在后台的运行状态

#!/bin/bash

TZ='Asia/Shanghai'
export TZ
sql_file_1="dwd_item_sams_cbec_master_info.sql"
sql_file_2="dws_item_sams_cbec_sales_mid_di.sql"

# 获取当前日期
current_date=$(date +%Y-%m-%d)
# 减去一天得到前一天的日期
yestoday_str=$(date -d "${current_date} -1 day" +%Y-%m-%d)

while true
do
    now=$(date +%H)
    echo -e "现在是 $now 点" 
    
    if [ $now -ge 04 ]; then
        hive  -f  $sql_file_1  -hivevar yestoday_str=$yestoday_str
        if [ $? -eq 0 ];then
          echo "$yestoday_str  $sql_file_1    成功"
        else  
          echo "$yestoday_str  $sql_file_1    失败  重新回到while第一行运行"
          continue
         fi     
              
        hive  -f  $sql_file_2  -hivevar yestoday_str=$yestoday_str
        if [ $? -eq 0 ];then
          echo "$yestoday_str  $sql_file_2    成功"
            break
                  else  
          echo "$yestoday_str  $sql_file_2    失败  重新回到while第一行运行"
          continue  
          fi  
            
        else  
          echo "正在等待，60s 后继续检查当前时间。。。。。"
          # 否则，等待 120s 后再次检查时间
          sleep 120
        fi
done

exit 0
沈炎
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python实现定时执行脚本(3)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
02-20 4919
本文是该专栏的第13篇，后面会持续分享python的各种干货知识。换言之，在tkinter窗口，比如root窗口，以及Toplevel窗口，都有一个after方法。如果你指定的这个定时执行的函数中，再次调用after方法，就可以起到一个定时器的效果，和本专栏上篇提到的threading.Timer效果类似。不管是爬虫脚本还是自动化脚本，亦或是其他脚本，有时都避免不了需要你加个定时功能，让你的程序脚本在某个时间段自动执行。其实，在print语句这里，也可以替换成你实际项目中的python功能的函数名，
linux下定时调度shell脚本_shell之定时周期性执行脚本的方法示例
weixin_34036423的博客
12-24 1378
示例1.编写测试脚本脚本 time .sh$ cat time.sh#! /bin/bashecho $(date +%s) >> /home/ocean/out.txt保存完毕后记得给予权限 chmod 777 test.sh2.添加定时任务$ crontab -eno crontab for ocean - using an empty oneSelect an editor. T...
linux下定时调度shell脚本_linux定时执行shell脚本
weixin_33098963的博客
12-24 1420
在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程，在像备份等需要在操作系统级定时任务只能采用crontab来完成。利用crontab来定时执行任务大致有如下三步：1、编写shell脚本2、利用crontab加入到定时任务队列3、查看作业完成情况一、如何建立shell脚本Linux下有很多不同的shell,但我们通常使用bash(bourne again shell)进行...
Kylin_定时调度脚本
Knight
10-25 664
Kylin提供了Restful API，因次我们可以将构建cube的命令写到脚本中，将脚本交给azkaban或者oozie这样的调度工具，以实现定时调度的功能。 不会写看kylin官网中得Restful API https://kylin.apache.org/docs/howto/howto_use_restapi.html#query 对于xxxxxxx是账号和密码:ADMIN:KYLIN 但是需要用Base64加密，直接在百度搜Base64在线加密 定时调度脚本 #!/bin/bash cube_
linux下编写脚本定时调度python程序
qq_51465586的博客
09-11 1004
linux下编写脚本定时调度python程序。
linux下定时调度shell脚本_Linux 执行定时任务 shell脚本
weixin_39633276的博客
12-24 765
Linux上面执行定时任务，我们可以利用crontab -e直接编辑定时任务 另外我们还可以写好shell脚本，定时去执行shell脚本，这两个方法都可以起到定时执行的作用下面我详细说一下入如何执行shell脚本1.声明一下我安装的lnmp环境，shell脚本存放的位置在 /usr/local/sbin路径下面新建一个test.sh#! /bin/bashecho "yes" >> /...
Apache DophinScheduler 定时调度Python脚本
修破立生
03-20 711
本文通过定时调度Python的例子演示了Apache DophinScheduler 的基本操作： * 创建租户 * 指定用户的租户 * 创建Python环境 * 创建项目 * 创建工作流 * 上线项目 * 设置调度时间 * 上线定时管理 * 查看日志
3.kylin在linux上定时调度脚本
First_____的博客
03-18 364
kylin 查询数据,在linux中进行定时调度的脚本: #!/bin/bash cube_name=order_cube do_date=`date -d '-1 day' +%F` #获取 00:00 时间戳 start_date_unix=`date -d "$do_date 08:00:00" +%s` start_date=$(($start_date_unix*1000)) #获取 24:00 的时间戳 stop_date=$(($start_date+86400000)) c
windows下定时批处理bat任务脚本
风子杨的博客中心
03-27 1854
windows下bat自动任务执行脚本
azkaban定时调度sql脚本初体验
qq_41495340的博客
07-06 836
需求：数仓项目需要我每天定时执行集群中的sql脚本文件 我需要把这个项目中的（三个分层）文件放入，因为每天基本上是定时跑这三个文件 第一步，编写job脚本 #before job build project type=command command=su hdfs -c "/data/apps/warehouse-schema/build.sh" retries=10 ##失败的job的自动重试的次数 retry.backoff=120000 ##重试的间隔（毫秒） 注意各个文件之间的依
Linux下定时执行脚本
02-18
Linux 下定时执行脚本 Linux 下的定时执行脚本是通过使用 crontab 文件来实现的。 crontab 文件中包含了一些计划任务，可以根据需要进行添加、删除和修改。下面将详细介绍 Linux 下的定时执行脚本的设置和使用。 ...
执行clickhouse的sql文件的脚本，支持定时任务
06-15
执行clickhouse的sql文件的脚本。 ~~~ 脚本执行命令如下： ~~~ sh backup-ch.sh ip port user password db chdir(clickhouse...支持crontab定时调度。 ~~~ 适用于clickhouse-19之后的所有版本。 ~~~ 后期提供免费升级。
clickhouse万能自动备份脚本
06-14
clickhouse万能自动备份脚本。 脚本执行命令如下： sh backup-ch.sh ip port user ...支持crontab定时调度。 支持全库备份，备份压缩，节省服务器空间。 适用于clickhouse-19之后的所有版本。 后期提供免费升级。
laravel异步监控定时调度器实例详解
01-20
定时调度器是什么 laravel默认提供了一个命令定时任务的功能，在其他的php框架下面，没有这个定时任务，我们要跑一些异步脚本怎么操作呢，只能依赖我们系统提供的crontab来做，这就导致我们每次发版本新增定时任务...
Shell脚本定时备份清除运行系统日志的代码
01-10
一、写备份并清除老日志Shell脚本： 代码如下:#!/bin/sh#backup eoslog#author rhao#date 2008-12-27 #定义环境变量EOS_HOME=/home/eosSAS_HOME=/home/eos/SAS # 测试主辅结点if test -d ‘/home/eos/SAS/SAS1_web1...
基于JavaScript 如何实现爬山算法以及优化方案
乐闻世界
06-10 1453
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
GLM+vLLM 部署调用
qq_38915354的博客
06-13 1123
vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统
2024 年最新基于 LLOneBot NT 框架搭建 QQ 机器人详细教程（更新中）
唤醒手腕的博客
06-14 578
llonebot（LLOneBot）是一个与OneBot（也称为CQHTTP）协议兼容的机器人框架，它允许开发者使用不同的编程语言（如Python、Go、JavaScript等）编写机器人应用，并与各种支持 OneBot 协议的聊天平台（如QQ、Telegram、Discord等）进行交互。onebot 11 背景。
第9章 类
最新发布
我走的每一步都算数
06-17 609
让一个类继承另一个类后，就可以添加区分子类和父类所需的新属性和新方法了。class Car:class ElectricCar(Car): # 继承Carself.battery = 85 # 新属性mycar = ElectricCar(2024, 'Au', 'A7') # 创建实例mycar.prt_battery() # 新方法熟悉Python 提供的选项，这样才能确定哪种组织方式是最佳的，并能理解别人开发的项目。
定时调度kettle脚本
12-15
为了定时调度Kettle脚本，可以使用系统的定时功能，具体步骤如下： 1.编写Kettle脚本并保存为.ktr文件。 2.使用Kitchen命令编写批处理文件（.bat）或使用Pan命令编写Shell脚本（.sh），并在其中指定要运行的.ktr...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值