python的requests.get和requests.post用法以及增加请求次数和超时设置

在平时的学习和工作中,常常会碰到将一堆数据上传到网页或者是从网页端下载数据。
那么我们可以使用python的requests.get和requests.post方法,自动化帮我们上传下载。

封装好的get请求
def get_one_page_by_get(url,headers):
    try:
        response=requests.get(url,timeout=20,headers=headers)
        response.encoding=response.apparent_encoding        
        return response.text
    except RequestException:
        return None
封装好的post请求
def get_one_page_by_post(url,headers,data):
    try:
        response=requests.post(url,timeout=30,headers=headers,data=data)
        return response.text
    except RequestException:
        return None
get或者post增加请求次数

在请求中我们通常会遇到一次请求不成功的情况,那么我们可以通过try块或者session的方式增加请求次数,timeout参数可以设置每次请求超时时长。

  • try块的使用方式
try_time=0
while try_time<3:
    try:
        person_info = get_one_page_by_post(view_url,headers,data)
        person_info = json.loads(person_info)
        break
    except Exception as e:
        # print(e)
        try_time+=1
  • session的方式
s = requests.session()
s.mount('https://', HTTPAdapter(max_retries=5)) # 重试5次
response = s.request("GET", params=params,url=url, timeout=15).text
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
出现请求超时的原因可能有很多,比如网络原因、服务器响应速度慢等等。在使用Scrapy发送POST请求时,可以尝试以下几种方法来解决超时问题: 1. 增加超时时间:在Scrapy的settings.py文件中设置DOWNLOAD_TIMEOUT参数,增加请求超时时间,例如: ``` DOWNLOAD_TIMEOUT = 20 ``` 2. 使用RetryMiddleware:在Scrapy中使用RetryMiddleware可以自动重试请求,可以设置重试次数重试时间间隔。在settings.py文件中添加以下代码: ``` RETRY_TIMES = 3 RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408] DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90, 'scrapy_proxies.RandomProxy': 100, 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, } ``` 3. 使用代理:在Scrapy中使用代理可以解决网络闪断等问题,可以使用scrapy_proxies库来实现代理功能。在settings.py文件中添加以下代码: ``` PROXY_LIST = '/path/to/proxy/list.txt' PROXY_MODE = 0 RANDOM_UA_PER_PROXY = True ``` 其中,PROXY_LIST为代理IP列表文件路径,PROXY_MODE为代理模式,0为随机选择代理IP,1为顺序选择代理IP。RANDOM_UA_PER_PROXY为是否在每个代理IP上使用随机User-Agent。 4. 使用requests库:如果使用Scrapy发送POST请求仍然存在超时问题,可以尝试使用requests库来发送请求。在Scrapy中可以使用scrapy-requests库来集成requests库,具体使用方法可以参考文档:https://github.com/scrapy-plugins/scrapy-requests
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

努力搬砖的小王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值