网络不稳定时python爬虫技巧

网络不稳定时，用爬虫下载文件会报ContentTooShortError，类似下面这样：

ContentTooShortError: <urlopen error retrieval incomplete: got only 1043679 out of 1050997 bytes>

解决思路很简单，就是捕获异常，重新下载。但是如果重新下载的时候网络还是不稳定又遇到ContentTooShortError怎么办呢？答案是递归调用，反复下载，直到能够正常下载为止。

代码：

def recu_down(url,filename): # recurrent download with ContentTooShortError
    try:
        urllib.request.urlretrieve(url,filename)
    except urllib.error.ContentTooShortError:
        print ('Network conditions is not good. Reloading...')
        recu_down(url,filename)

下载的时候用这个函数替代urllib.request.urlretrieve函数就可以了。