- 博客(2)
- 收藏
- 关注
RSS订阅原创 知乎模拟登陆
知乎模拟登陆既然要模拟登陆知乎，那么我们就首先要知道登陆请求是发给谁的。在知乎密码登录界面，打开开发者工具的Network，然后输入账号和错误的密码，我们可以看到它都发送了哪些请求。看到它有一个请求发送给了sign_in，看一下它的response是它没错了，接下来分析一下这个请求。这是一个post请求，一般post请求都会带一个formdata很好，这个参数我们看不懂，肯定是做加密处理了，那我们现在就需要找到它的加密逻辑然后模拟出这个参数。现在已知就只有这个sign_in，那就全局搜索一下si
2020-06-12 15:27:09
1016
3
原创 Scrapy解决302重定向问题
在使用scrapy爬取网站数据的时候遇到了302重定向问题，可以在Request中添加meta参数。yield scrapy.Request(url, callback=self.parse, meta={'dont_redirect': True, 'handle_httpstatus_list': [302]})'dont_redirect’是禁止重定向。'handle_httpstatus_list’是scrapy可以处理的响应状态码。因为scrapy默认只能处理状态码在200-300之间的响
2020-05-24 14:00:50
5339
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人