python检查_Python设置检查点的实现方法_源码

这篇文章和大家介绍一下关于Python设置检查点的实现方法源码，涉及Python设置检查点的相关技巧，需要的朋友可以参考如下代码：

检查点其实就是对过去历史的记录，可以认为是log.不过这里进行了简化.举例来说，我现在又一段文本.文本里放有一堆堆的链接地址。

现在的任务是下载那些地址中的内容，另外因为网络的问题或者网站的问题，每次下载可能不会非常的成功，有可能出现断链或者socket异常错误。

不过不管产生什么样的错误，我都希望我的程序能够一直跑下去。或者能停掉后，继续从为下载的链接处跑。

而不是从开始的地方跑，这个问题非常简单，因为这些链接是上下文无关的（上下文有关的情况要另外分析），所以我只要记录程序运行停止前的最后一条，就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接，大家也可以使用计数器的方法来记录。

# Python设置检查点的实现方法代码下如：

注释： 这个异常是原文本内容中未出现检查点内容出现造成的

class CheckPointMissContentError:

pass

# 将文件读取指针fd移至到检查点对应的内容处

# check point 的规则为，读取文件一行或者多行，进行操作后，将此一行或多行送入

# 检查文件check_point中。以后再次运行程序，即可从该检查点处继续运行。

def GoCheckPoint(fd,check_point):

if not os.path.isfile(check_point):

f_check = open(check_point,'w')

f_check.close()

f_check = open(check_point,'r')

lines = f_check.readlines()

if len(lines) > 0:

check_content = lines[-1] #找到检查点最后一行

check_content = check_content.strip(' \n\r')

# go to check point

while True:

content = fd.readline()

if content == '': # eof

raise CheckPointMissContentError

if content.strip(' \n\r') == check_content:

break

f_check.close()#关闭检查点

# 第二段的伪代码

def Download(downloadlist,sleep_time):

if os.path.isfile(downloadlist):

f = open(downloadlist)

# check_point file name，这里为自动生成一个检查点文件

check_point = file[0:file.rfind('.')]+'_check.txt'

Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数

f_check = open(check_point,'a')# 以追加方式写入

try:

while True:

content = f.readline()

if content == '': # eof

break

content = content.strip(' \n\r')

if content != '':

# has download url

time.sleep(sleep_time)

DownloadOper(path,url)

#这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的

# 作为响应的操作后再将内容写入检查点文件

# www.iplaypy.com

f_check.write(content+'\n')

f_check.flush() # 必须的，否则会缓存，不会写入硬盘中

except : # 蹦个异常也不怕,以后再次按F5执行即可

raise Exception()

return Util.FAILUR

2000

E # 这是我设置的常量，大家认为是0或者1就可以了

finally:

f.close()

f_check.close()# 关闭文件

print('Downloading is done........................')

return Util.SUCCESS

关于Python设置检查点方法与源码，玩蛇网就先介绍到这里了。

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/code/c2718.html

相关文章 Recommend