python3爬虫用代理池爬虫搜狗微信文章

本文是通过搜狗微信，爬取有关python相关文章的标题，正文内容，公众号，发表日期等信息，把获取到的信息保存到mongodb中，因为需要用到代理池，所有需要先配置好代理池，代理词github地址：https://github.com/germey/proxypool ，安装方法参考里面的说明就行，此外需要安装好mongodb数据库和pymongo库，开发使用的是pycharm。
一，准备工作
首先新建一个项目名为weixinspider,在项目下面新建weinxin.py文件，然后打开搜狗微信页面，输入python,打开第一页，按f12查看页面结构：

可以看到请求的方式是get方法，请求的url是带参数的，把页面向下拉可以看到具体的参数信息，可以在爬虫中构造这些参数

构造的paramdata参数如下：

paramdata={
    'type': '2',
    'query': 'python',
    'ie': 'utf8',
    's_from': 'input',
    '_sug_&