python怎么跑数据_python定时重跑获取数据

本文介绍了在大数据场景下,如何使用Python实现自动重试从数据库获取数据的机制。当数据获取失败时,程序会间隔一段时间后再次尝试,直至成功。通过创建数据库表和Python代码示例详细阐述了该过程。
摘要由CSDN通过智能技术生成

做大数据的童鞋经常会写定时任务跑数据,由于任务之间的依赖(一般都是下游依赖上游的数据产出),所以经常会导致数据获取失败,因为很多人发现数据失败后

都会去查看日志,然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数,如果失败后自动重新去获取,直到把数据获取到。

建数据表:

CREATE TABLE `testtable` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`name` varchar(20) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

开始的时候数据表是空的,等到脚本重试第3秒的时候向数据库插入数据。以下是python代码的实现

#!/usr/bin/env python

#-*- coning:utf-8 -*-

import MySQLdb

from time import sleep

class GetData(object):

def __init__(self):

self.conn = ''

self.host = '127.0.0.1'

self.port = 3306

self.user = 'root'

self.passwd = ''

self.db = 'test'

self.cnum

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值