python自动从网页下载文件,python从网站下载文件

这篇文章主要介绍了python自动搜索爬取下载文件，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获，下面让小编带着大家一起了解一下。

先写一个下载单个链接到本地的函数

import requests
import time

def resp(url, file_path):  # url为网站上的下载链接，file_path为要下载到的本地链接
    r = requests.get(url)
    with open(file_path, 'wb') as f:
        f.write(r.content)
        f.close()

再从网页链接中寻找规律，在这个例子中，可以发现，网页下载链接和时间有关，那么就可以根据时间多次运行我们的resp函数

def downloadfuture(yue=12, ri=31):  
    for i in range(1, ri + 1):
        try:
            if len(str(i)) < 2:
                i = '0' + str(i)
            if len(str(yue))<2:
                yue = '0' + str(yue)
            url = '链接共同特征'+str(yue) + '-' + str(i) + '.zip'
            file_path = '链接共同特征'+ str(yue) + '-' + str(i) + '.zip'  
            resp(url, file_path) #运行resp函数
        except:  #爬虫一般过程中可能会被卡，为了避免这种情况，使用time.sleep歇息一秒，再继续
            time.sleep(1)
            continue

这样子我就可以通过定义好月份和天数下载该月所有的文档