scrapy 简单使用

1，创建一个项目

• startproject命令

╰─➤  scrapy startproject sna

╰─➤  tree .
.
└── sna
    ├── scrapy.cfg
    └── sna
        ├── __init__.py
        ├── __pycache__
        ├── items.py
        ├── middlewares.py
        ├── pipelines.py
        ├── settings.py
        └── spiders
            ├── __init__.py
            └── __pycache__

2，创建一个爬虫

• spiders目录下新建一个文件news.py

2.1，Unknown command: crawl

• 参考 unknown command: crawl error
• 在scrapy.cfg文件所在的目录运行scrapy crawl

参考：

1. Scrapy命令行工具
2. Scrapy 第一个爬虫
3. Scrapy 教程