爬虫
文章平均质量分 66
路人甲wttttt
这个作者很懒,什么都没留下…
展开
-
如何在eclipse中使用scrapy?
一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的python项目即可,此时查看项目目录,目录项只有两个工程文件。 此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。 我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。 此时如果运行这个项目会转载 2015-08-27 11:19:04 · 1424 阅读 · 0 评论 -
一段解决了好多天疑惑的代码
最近使用scrapy爬虫框架写爬虫,遇到一个问题,大概是跟进爬取的问题,但是crawlspider类无法很好地解决,查了一些rules方面的材料没收获。 如果想在爬出的链接上进一步爬取内容,应该如何操作,如果再定义一个函数,比如parse2,那么它怎么接受前一步爬出的链接呢? import scrapy from myfirstspider.items import MyItem impo原创 2015-09-22 18:55:17 · 512 阅读 · 0 评论