fake-useragent,retry的分享

这里作者说一下为什么会分享fake-useragent,因为作者在爬取信用类的国家网站的时候,没有设置代理怎样能让其多爬取点呢?可以随机设置请求头吗?所以作者这里做了个大胆的预测,所以就做了这个随机设置请求头的方法,当然代理才是关键,哈哈哈

一:fake-useragent的使用

安装方法:

pip install fake-useragent

使用方法:

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

是不是特别的方便。

二:retry的使用

因为有的时候我们做异常处理会用到

try:
    xxx
except:
    xxx

这里直接分享一个retry的方法:
安装方法:

pip install retry

使用方法

from retry import retry

@retry(2) // 2次过后打印异常,如果不写一直进行处理
def do_something():
    pass

好了简单的分享就到这里结束了哈,如果想了解更多的使用,请去百度,哈哈哈。欢迎纠正。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值