Python
文章平均质量分 82
Sunrise0929
这个作者很懒,什么都没留下…
展开
-
Scrapy递归抓取数据存入数据库(示例二)
参考:http://www.hulufei.com/post/Some-Experiences-Of-Using-Scrapy http://www.shahuwang.com/?p=1620 scrapy爬取了链接之后,如何继续进一步爬取该链接对应的内容? parse可以返回Request列表,或者items列表,如果返回的是Request,则这个Request会放到下一原创 2013-08-13 10:58:36 · 1903 阅读 · 0 评论 -
实现Scrapy的Demo
参阅文档: http://doc.scrapy.org/en/latest/intro/overview.html http://doc.scrapy.org/en/latest/intro/tutorial.html#intro-tutorial http://doc.scrapy.org/en/latest/intro/install.html#intro-install http://do原创 2013-08-13 10:58:29 · 761 阅读 · 0 评论 -
Linux中运行python实现错误日志定时报警
又到了毕业季,实验室不是很忙,要给自己找点事做。于是打算从6.21开始学习python。中间又是拍毕业照又是吃散伙饭,还是赶紧写个python的小程序,免得前面看的都忘记了。 1. crontab用法 crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。crontab文件包原创 2013-08-13 10:58:25 · 1307 阅读 · 0 评论 -
Scrapy抓取数据存入数据库(示例一)
一、示例一:Scrapy抓取豆瓣编程分类第一页的图书名称和链接并存入数据库 参考文章:http://tech.sina.com.cn/s/s/2008-12-24/09322685698.shtml 1. 要抓取的文件在items.py中定义,我们要抓取的是图书的名称和链接 2. spiders下的文件 from scrapy.spider import BaseSpider from sc原创 2013-08-13 10:58:34 · 2501 阅读 · 0 评论