知网摘要作者信息爬取和搜狗微信、搜狗新闻的爬虫

个人项目，只支持python3.

需要说明的是，本文中介绍的都是小规模数据的爬虫（数据量<1G），大规模爬取需要会更复杂，本文不涉及这一块。另外，代码细节就不过多说了，只将一个大概思路以及趟过的坑。

本文中涉及的阿布云IP隧道及云打码平台需要自己注册，并在code中相应部分取消注释。

需要在每个模块中建立output文件夹，才能使用，文档结构如下图所示

---

搜狗微信文章抓取

• 目标：在搜狗微信模块下搜索关键词的文章，抓取链接保存文章标题，来源，时间，内容的内容
• 采取的策略：selenium模拟搜索，登陆扫码采用手动扫描的模式，登陆后通过不同的关键词进行搜索，翻页等操作。
• 遇到的坑：
  1. SogouWechat这个库只能抓到10个items（自己加入cookies也只能抓10个好像，反正我没成功的抓多个）
  2. 登陆只想到手动扫描这一块，没有其他更好的方法
  3. 搜索出来的文章链接时临时性的，要及时request并保存
  4. 在模拟翻页操作的时候，建议模拟一下页面滚动
  5. 网速不好的情况，要有sleep，要不然chrome会报错

搜狗新闻抓取

• 目标：在搜狗新闻搜索中搜索关键，将所有新闻的标题，时间，内容保存下来
• 采取的策