python爬虫签到数据_【Python项目】爬取新浪微博签到页

基于微博签到页的微博爬虫

1 实现功能

这个项目是用来爬取微博签到页的微博数据(每三个小时爬一次)，并写进sqlite数据库。

关于微博签到页打个比方，就是类似这个https://weibo.com/p/100101B2094757D069A7FE449F

顺便一说，这个页面是不用微博登录就可以访问的。所以方便很多啊(不用模拟登录)。

2 依赖环境

使用的是Python 3.7(在云上用过3.5也完全ok)。

需要额外的第三方库有yagmail(用来发送邮件),pandas，bs4。均可使用pip来安装。

pip install yagmail pandas bs4

3 使用方法

step1. 修改pid.csv中的地点名词与对应的id。

step2. 修改start.py中的邮箱账号密码。

step3. Run start.py。

4 文件说明

包含四个文件。

pid.csv

是放置地点的名称和微博页面对应的位置id。比如说上面的珞珈山，就是网页URL最后的那一串数字100101B2094757D069A7FE449F。

buildip.py

是在网上看到别人写的……具体忘了哪的，如果本尊看到！sorry！请联系我注明！

我稍微修改了下。这个文件是一个实现爬取代理网站上的代理IP来构建代理池的模块。

crawler.py

爬虫本体。

start.py

控制爬取多个地点的一个启动文件。

5 爬取示例

如果开始成功运行之后，控制台