python模拟登录页面下载_python爬虫之模拟登录

最近应朋友要求，帮忙爬取了小红书创作平台的数据，感觉整个过程很有意思，因此记录一下。在这之前自己没怎么爬过需要账户登录的网站数据，所以刚开始去看小红书的登录认证时一头雾水，等到一步步走下来，最终成功，思路通了感觉其实还是很简单。

解决思路

一开始我就只有这么一个网址小红书创作平台，和登录账号、密码，然后经过数次试错分析，最终拿出了解决方案。要爬取这个平台的数据，最核心的就是使用python模拟浏览器登录进去。探索过程：

1、在登陆界面点击用密码登录，输入账号密码验证码，通过chrome调试工具查看请求的header会发现，登录时是通过POST方式，请求的实际地址是：http://post.xiaohongshu.com/web_api/sns/v1/homerus/user/login_with_passwd，登录需要的参数有五个，分别是账号、密码、token、captcha(图片验证码)、zone值，其中zone是指你所在的国家的区号，例如中国为+86，因此值为86。那么这里处理比较困难的就是token和captcha。

2、token哪里来的？是什么值？captcha是图片验证码，怎么处理？我发现进行在登陆界面点击用密码登录这个操作时，实际进行了一次GET请求，请求的地址http://post.xiaohongshu.com/api/homerus/login/captcha，并且返回了两个数据：一个是token，还有一个是验证码图片链接。怎么样？有没有很开心，需要什么就