前言
作为一名打工人,每个月都会有那么两天是抗拒上班不想上班的,请病假又太麻烦,要这个证明那个证明的,所以说只能请事假,虽然会没得工资,但是为了咱们心情愉悦,很多时候不能太看重那两天的钱了,那么你们通常的请假理由一般都是啥呢?我用Python分析了全国的请假理由才选定了这个理由!
看看有没有你用过的理由吧
数据采集
我们是从微博移动端来进行数据采集的。我们按F12,打开开发者模式,对网页进行观察
我们发现数据存储的网页是一个hotflow开头的页面,它的数据存储的方式是Ajax,那我们就可以知道请求的页面和提取数据的方式了。
在上面,我们已经找到数据存储的网页和方式,那么只需要找到页面之间的联系,构造好循环,就可以批量开始爬取啦~
接下来对不同页面之间的URL进行观察
它们URL里面的id和mid是固定不变的,但是max_id是变化的,然后我又在页面里面发现了max_id值的规律,每一页的max_id的值都在上一页中存储着。
但是这样还不能够全部都访问,具体的原因和改进