这里作者说一下为什么会分享fake-useragent
,因为作者在爬取信用类的国家网站的时候,没有设置代理怎样能让其多爬取点呢?可以随机设置请求头吗?所以作者这里做了个大胆的预测,所以就做了这个随机设置请求头的方法,当然代理才是关键,哈哈哈
一:fake-useragent的使用
安装方法:
pip install fake-useragent
使用方法:
from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent':ua.random}
是不是特别的方便。
二:retry的使用
因为有的时候我们做异常处理会用到
try:
xxx
except:
xxx
这里直接分享一个retry的方法:
安装方法:
pip install retry
使用方法
from retry import retry
@retry(2) // 2次过后打印异常,如果不写一直进行处理
def do_something():
pass
好了简单的分享就到这里结束了哈,如果想了解更多的使用,请去百度,哈哈哈。欢迎纠正。