爬虫header头中cookies出现双引号如何处理
在爬虫中,针对存在反爬机制的网站需要使用cookies
但是网页中的cookies出现了许多双引号影响头
解决办法如下
import requests
import re
from bs4 import BeautifulSoup
url = 'https://www.zhihu.com/billboard'
string = '你的cookies'
string = string.replace('\"',"")
# print(string)
headers = {
'Host':'www.zhihu.com',
'Cookie':string,
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
r = requests.get('http://www.zhihu.com',headers=headers)
# print(r.text)
成功解决