当请求遇到上述问题时,我们编写的爬虫无法直接处理类似的请求头。
会报如下错误:
ValueError: Invalid header name b':authority'
我们可以用hyper来处理这类问题
from hyper.contrib import HTTP20Adapter
sessions=requests.session()
sessions.mount('https://xxxx.com', HTTP20Adapter())
r=sessions.post(url_search,data=playload,headers=headers)