开发日志
文章平均质量分 91
anzice
这个作者很懒,什么都没留下…
展开
-
基于python的PC文件自动同步系统
一直有这个需求,想要将电脑上常用的一些文件自动上传到网盘,奈何一些客户端太脑残,只好抽空自己写一个了。 之前听说百度网盘提供api,不过目前好像收费了,看来要基于快盘api同步了,不清楚能不能成功,先写篇日志,记录整个过程。 一、获得快盘api权限 1. 注册快盘原创 2014-11-30 00:07:27 · 2873 阅读 · 0 评论 -
基于python的一个大规模爬虫遇到的一些问题总结
前些天在某个论坛看到一些很感兴趣的信息,想要将其爬取下来,预估了下规模,想要做的是:将整个论坛的所有文章爬取下来,保存为本地的txt。 一开始写了个爬虫,大致思路是: 先从论坛的起始页开始爬起,得到所有分区版面的网址然后从分区版面得到该区总共的页码数,根据网址规律得到分区版面所有页数的网页从上面的分区版面的某一页的网页中得到该页所有文章的网址,然后抓取这些文章,保存为本地txt 上面原创 2014-12-29 23:19:14 · 9398 阅读 · 1 评论