舆情监控系统——step1.爬取微信公众号文章

小明酱于2018年元旦更新，写的还是很糙，如果你在爬虫问题中遇到问题，欢迎交流哦，评论区随时为你开放！
实习两周过去了，目前任务量还不是很大。我的老板很nice，是个军校生，给我安排的任务也比我预想的要贴近我的研究方向，做的是微信公众号文章的舆情监控系统，以下是该系统总体设计流程图：

目前第一周是爬取微信公众号的文章，主要功能如下：

• 按照搜索公众号id和关键字两种方法爬取文章的标题、内容、发布时间、 公众号名称
• 以正确编码格式存储到数据库中
• 实现将新增数据添加入数据库
• 在关键字检索方式中按照时间顺序将文章排序，实现翻页爬取

以上功能均已实现，真心觉得在项目中学习才是最高效的方法，但同时也有不求甚解的毛病，希望自己能够深入把握下一周新学的知识，做一个总结，不能仅停留在插件式的编程。

下面我讲述下思路过程GitHub代码点击此处：

主体思路

• 通过微信合作方搜狗搜索引擎（http://weixin.sogou.com/），发送相应请求来间接抓取，可以实现两种检索方式，如下图：搜文章和搜公众号。

输入公众号ID，获取爬虫起始地址

http://weixin.sogou.com/weixin?type=1&s_from=input&query=+公众号ID+&ie=utf8&_sug_=n&_sug_type_=