一、安装Scrapy
#导入GPG密钥
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
#添加软件源
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
#更新包列表并安装scrapy
sudo apt-get update && sudo apt-get install scrapy-0.22
二、Scrapy的组成
三、快速开始Scrapy
运行Scrapy后,只需要重写一个download就可以了。
这里是别人的一个抓取招聘网站信息的例子,基本结构可以参考。但我运行时,出现很多错误,缺少misc目录,而且piplines的配置没有写出来。
诸君稍候,等我试一下,全部分享给大家。
根据官方的入门例程,快速开始:
首先,根据模版创建一个工程。
scrapy startproject tutorial
里面的目录和文件看起来是这样的:
tutorial/
scrapy.cfg # deploy configuration file
tutorial/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py
...
进items.py,改成这样:
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
再进dmoz_spider.py,改成这样:
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.body)
再运行这个:
scrapy crawl dmoz
但是,出错了哇!
找了个别的例子参考了下,把里面的scrapy.Spider改为scrapy.spider.Spider,如下:
class DmozSpider(scrapy.spider.Spider):
基本上就可以Run起来了。
可能是版本修改了,把Spider这个类放到了spider命名空间下了,可是例子没有改,有点坑人咧!
完整的教程在这里:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html