Scrapy Python爬虫入门

创建项目

scrapy start project projectname

目录格式

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

---

定义Item.py

item.py 定义爬取数据的容器，数据类型，类似python中字典，在item中定义我们要获取的数据

import scrapy
class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field() #field 域，场地的意思