scrapy创建新项目注意事项

1、在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

2、该命令将会创建包含下列内容的 tutorial 目录: tree

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.

3、

cd tutorial 之后先 scrapy genspider dmoz dmoz.org, 然后再scrapy crawl dmoz

注意目录路径为：

第一步的执行路径为.\Anaconda3\Scripts\tutorial

第二步的执行路径不变。

否则会报错执行不通。

之后就可以自主的编辑项目的spider和pipelines