之前为了追春日望的社交媒体,怕错过消息,就想着写一个定时爬虫,比如每隔10分钟爬一次她的所有社交媒体,检查有没有更新。如果有,就下载记录在服务器端,然后发QQ消息给我。这样的一个需求。
那思路也很明确的:爬取——与本地的latest时间戳对比——分支结构(如果有,发送QQ消息;如果没有,pass)——等待10分钟——循环周而复始……
发送QQ消息实在是太他-娘-的难了,所以我使用了优秀的酷Q模块。这个模块是吾爱破解那边的大佬实现的,据说是实现了底层的PC端QQ通讯协议。太了不起了,真的太了不起了。
为了能让Python的爬虫与酷Q模块进行交互,我投身于优秀的开源社区,使用了优秀的Nonebot模块来实现交互通信。
由于项目写了一阵子,代码风格前后不统一,实在是太烂了。所以我就不放出我写的这个项目的github地址来了。
这里记一些遇到的问题和坑吧。
踩坑1:
.xlsx的.append方法里面不能传一个空列表!
踩坑2:
csv.reader只是一个句柄,时刻访问,并不具备储存的功能。
踩坑3:
list里面牵扯到指针的相关问题,要留心。