微信读书爬虫 wereader

微信读书爬虫 wereader

今天达成了人生中第一个 50+ 星开源项目 ---- wereader。

源起

前天再用微信读书看技术书的时候，想要获取一本书的热门笔记以及自己的全部笔记。在百度和github上搜索微信读书爬虫，均无结果。于是灵光一闪，启动了一个新的repo，取名 wereader。熬夜写完基本功能，挂到了 github 上。次日 post 到 v2ex 上，过去一天收获了52个star，7个fork。超开心的，感觉自己是一个有用的人哈哈。

各位看官有兴趣请移步wereader。

使用技术

1. 使用了 fiddler 和安卓模拟器联合抓包
2. 模拟登陆的时候需要验证签名，有四五个字段生成的签名，不知道用了哪些字段，也不知道用了哪种哈希算法，也不知道排列顺序。解决方法，字段加算法进行全排列组合，验证结果是否等于 singnature。真是天才，不过几百来种情况。最终得到唯一一种正确组合。
3. 登录还是认证失败，不知道是哪种安全机制。后面改用cookie登录，尝试的时候无意中得到一个扫码登录的入口。扫码登录之后，发现可以直接在浏览器里访问接口无需验证，我就知道是cookie的原因。于是拷贝一份cookie，代码就正常工作了。
4. 尝试把cookie直接在代码里获取，但是扫码登录的二维码是在前端 JS 生成的，抓取不到，也不知到具体的生成逻辑。就只好手动拷贝cookie了。这点希望可以改进一下。