python小白抓取微博广告遇到的各种问题

代码我是用的别人的,然后根据自己需要改了一下,原作者发布链接:https://www.cnblogs.com/Erick-L/p/9057386.html
**

Q1 user-agent

我是直接在网上找的,直接用就可以了,不过要注意空格,原因见Q5。Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763

Q2 cookie

(我用的edge浏览器)右键选择查看源/检查元素,然后选择网络(英文界面对应network),在内容类型中选择文档,然后任意点击结果为200的内容,在界面右边的请求标头处就可以看见cookie了,右键选择复制值就可。【在这儿也能看到user agent】

Q3 url

右键选择查看源/检查元素,然后在服务工作进程里就可以看到了。

Q4 代码顺利运行但是却什么也没抓取到

将time.sleep(1)改成了time.sleep(3),合理控制抓取速度
【参考文章https://www.cnblogs.com/junrong624/p/5533655.html】

Q5 requests.exceptions.InvalidHeader: Invalid return character or leading space in header: Cookie

直接复制粘贴cookie后结果在”””和A中间存在空格,去掉就好了 在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值