代码我是用的别人的,然后根据自己需要改了一下,原作者发布链接:https://www.cnblogs.com/Erick-L/p/9057386.html
**
Q1 user-agent
我是直接在网上找的,直接用就可以了,不过要注意空格,原因见Q5。Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763
Q2 cookie
(我用的edge浏览器)右键选择查看源/检查元素,然后选择网络(英文界面对应network),在内容类型中选择文档,然后任意点击结果为200的内容,在界面右边的请求标头处就可以看见cookie了,右键选择复制值就可。【在这儿也能看到user agent】
Q3 url
右键选择查看源/检查元素,然后在服务工作进程里就可以看到了。
Q4 代码顺利运行但是却什么也没抓取到
将time.sleep(1)改成了time.sleep(3),合理控制抓取速度
【参考文章https://www.cnblogs.com/junrong624/p/5533655.html】
Q5 requests.exceptions.InvalidHeader: Invalid return character or leading space in header: Cookie
直接复制粘贴cookie后结果在”””和A中间存在空格,去掉就好了