保证定时任务只在单个服务器执行

写了一个定时任务,半小时执行一次,上线之后发现12个服务器都去执行了。

定时任务:读取ftp文件服务器上某个路径下的文件,然后解析文件提取每行特定列的字段,然后把符合条件的话单数据的ID、手机号等信息通过远程接口送给第三方。由于所有服务器都执行,导致所有服务器差不多在1min左右先后读取了同一个文件然后读取解析把相同数据传给第三方导致异常。

第一次修改:

    定时任务加一个判断,先读取服务器ip地址,然后是特定的ip地址才可以执行,其他都不执行。方法很简单,问题能很快处理。但是有一个缺点,如果该台服务器出现故障则无法执行定时任务。

第二次修改:

    没有使用redis或zk的分布式锁,而是用数据库的行锁帮忙。建一张表,只有一行数据。switch字段表示开关,决定是否开启定时任务,start_time字段表示最近一次定时任务开始执行的时间,status字段表示是否加锁防止其他服务器再执行。

id switch start_time status
1  1  2020/10/11 21:08:00  1

假设有两个事务A和B

事务A:
开始事务;
select * from schedule_status where id =1 for update;
update schedule_status set status= 0 where id=1;
提交事务;


事务B:
开始事务;
select * from schedule_status where id =1 for update;
update schedule_status set status= 0 where id=1;
提交事务;

如果事务A先执行了select,即使B也select到了status=1,但是事务A通过for update把该行数据锁住(排他锁),事务B只能查不能改。等事务A把status改为0,事务B则不能执行本次定时任务,等待下次时间点再争夺。

至于‍start_time字段是防止某台服务器在执行完定时任务之后在恢复status为1时出现了故障,所以需要每次执行定时任务时,遇到status为0之后,再通过当前时间-start_time是否超时30min左右,如果超时我们可以认为上次执行定时任务的服务器宕机之类的,此时我们接着返回true让先发现这个故障的服务器先执行,并且同时更新一下对应start_time。这样即使节点挂掉,也不影响下一次定时任务的执行。

如果使用分布式锁,需要给分布锁加一个超时时间,防止加锁后再解锁时出现故障,后面任务不再执行。再使用Quartz组件来处理,也可以让定时任务在服务器集群下只需要让集群中的一台运行。

北部白犀牛

    北部白犀牛和南部白犀牛同属白犀亚种,与非洲南部的白犀在基因上存在较大差异。2018年3月19日,世界上最后一头雄性北方白犀牛“苏丹”在肯尼亚去世,终年45岁。

    尽管犀牛角的交易在全球范围内被禁止,但在黑市内仍然热火朝天,在也门就有专门的犀牛角市场,在那里以犀牛角制成手柄的匕首是众多买家和卖家关注的焦点,是身份的象征。利益熏心的偷猎者每年都大量猎杀这些珍贵的白犀,而面对偷猎猖獗,非洲国家由于落后的经济技术无暇应对,这些问题已经导致北白犀成为即将灭绝在现代文明面前的大型动物。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Celery可以很方便地实现定时任务和批量推送邮件。以下是一个示例代码,演示如何使用Celery定时发送批量邮件: 1. 安装Celery和Redis ```bash pip install celery redis ``` 2. 创建Celery实例 ```python # tasks.py from celery import Celery app = Celery('tasks', broker='redis://localhost:6379/0') ``` 3. 编写发送邮件的函数 ```python # tasks.py import smtplib from email.mime.text import MIMEText @app.task def send_email(recipient, subject, body): # 创建邮件内容 message = MIMEText(body) message['From'] = 'sender@example.com' message['To'] = recipient message['Subject'] = subject # 连接邮件服务器 server = smtplib.SMTP('smtp.example.com', 587) server.starttls() server.login('username', 'password') # 发送邮件 server.sendmail('sender@example.com', recipient, message.as_string()) # 关闭连接 server.quit() ``` 4. 编写定时任务 ```python # tasks.py from datetime import datetime, timedelta @app.task def send_batch_emails(): # 构造邮件列表 recipients = ['user1@example.com', 'user2@example.com', 'user3@example.com'] subject = 'Test Email' body = 'This is a test email.' # 发送邮件 for recipient in recipients: send_email.apply_async(args=[recipient, subject, body]) @app.task def send_periodic_emails(): # 每天10点发送一次邮件 schedule_time = datetime.now().replace(hour=10, minute=0, second=0) if schedule_time < datetime.now(): schedule_time += timedelta(days=1) send_batch_emails.apply_async(eta=schedule_time) ``` 5. 启动Celery ```bash celery -A tasks worker --loglevel=info ``` 6. 定时发送邮件 ```python # 在任意位置调用 send_periodic_emails() 函数即可 from tasks import send_periodic_emails send_periodic_emails.delay() ``` 在上面的代码中,我们使用Celery创建了一个异步任务send_email(),用于发送单个邮件。然后,我们创建了一个异步任务send_batch_emails(),用于批量发送邮件。send_batch_emails()函数遍历收件人列表,为每个收件人创建一个send_email任务,并异步发送邮件。 最后,我们创建了一个定时任务send_periodic_emails(),用于每天10点发送一次邮件。我们使用Celery的apply_async()方法设置任务的执行时间,并在启动Celery后调用该函数即可。 您可以根据自己的需要修改邮件内容、收件人列表和定时任务的时间,并使用类似的方法来实现定时发送批量邮件。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值