【Python-29】 Linux下编写最简单的scrapy网络爬虫项目

 

 首先我们需要先安装scrapy框架，没有安装的同学可以看ubuntu下安装scrapy网络爬虫框架

     

 创建一个项目 Creating a project

      1 进入到想要创建项目的目录： scrapy startproject tutorial

         这样就可以创建了一个新的scrapy项目tutorial

      2 看一下项目的树形图

 

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

 

 

       3 简单的介绍一下每个文件的用处

 

 

        scrapy.cfg   是项目的配置文件

        tutorial/        是项目的入口

        items.py      是项目的数据字段文件

        pipelines.py 是项目的管道文件

        settings.py   是项目的配置文件

        spiders/       是项目中放网络蜘蛛的目录

 

 定义我们要的数据字段 Defining our Item

     1 定义自己所需要的数据字段是从我们爬取下来的数据中提取的

     2 定义字段在items.py中定义Item类来实现的

     3 我们在items.py中定义出三个字段，titile和link以及desc

 

from scrapy.item import Item, Field

class DmozItem(Item):
    title = Field()
    link = Field()
    desc = Field()

 

创建第一个网络蜘蛛 Our first Spider

 

     1 网络蜘蛛是指从用户定义好的一组域中爬取数据

     2 要创建一个网络蜘蛛，我们必须在spiders/ 目录下创建一个文件

     3 我们创建第一个网络蜘蛛，保存为dmoz_spider.py

 

from scrapy.spider import BaseSpider

class DmozSpide