【python 爬虫】 requests包get()函数的参数设置

get()函数是requests包中非常重要的函数,需要设置的重要参数有:headers、params、timeout、proxies。

1、headers

请求头信息,不同的浏览器的User-Agent值不同

2、params

用于在发送请求时携带动态参数,可以在浏览器浏览网页时通过开发者工具查看

3、timeout

用于设置请求超时的时间,因为网络有可能不稳定,并不是每次请求都会被服务器接收,如果一段时间服务器没有返回结果,requests默认会重复发起请求,适当设置timeout值可以在请求超时的时候抛出异常

4、proxies

用于设置代理服务器,因为同一IP地址发起大量请求可能导致IP被封,为了规避“反爬”手段,可以使用代理服务器代替实际的IP发起请求

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值