一起学python-1发现群组-数据抓取

      最近在学习群组的发现，如何通过python 代码实现，说下我们的目标，捕获公司内网的5000多篇技术精英大赛的文章，然后对文章进行分词，最后计算出相关性，通过图的形式输出结果，在输出结果前，我们是无法知道文章的相似性，围绕这一目标进行学习。

    本次主要是数据的抓取。

    目标网站数据源如图

1. 大致有5100篇文章 ，但是一页只有30多篇的样子，然后继续下拉，有个浏览更多

然后开启firefox，启动web开发者-控制台，直接看协议包，思路是直接利用firefox的cookie，然后进行模拟登陆获取。

查看第一个点击“全部帖子”走的是get协议，查看cookie有4个，通过测试实际有用的就最后一个 JSESSIONID，其实懒的话，4个一起丢cookie，好了默认第一页比较简单，然后点击“浏览更多”

发现多了很多参数，然后就思考这些参数的大致意思，应该是记录当前最大url地址和最小url地址，以及当前的页码，圈子id，总的页码，最开始的时候尝试手工记录页码，计算最大url和最小url，但后面想了下，post的数据应该是来源于表单，所以基于这点回头找了下页码源码，然后在响应里面找到了这部分值。