使用scrapy爬取一部小说

使用scrapy爬取一部小说

一.安装scrapy框架:(在安装有python，以及几个必须的依赖库的情况下)
打开cmd终端，输入 pip install scrapy，安装成功后，可以看到
Successfully installl Scrapy-x.x.x

这里的pip 指的是python的包管理工具

---

二.创建项目，爬虫文件:切换到任意盘符的根目录，输入 scrapy startproject 项目名，创建一个爬虫项目，再进入该项目的目录，输入scrapy genspider 爬虫名 网站域名，创建好爬虫文件

---

三.观察一下创建好的scrapy结构:

简单理解一下scrapy结构:
爬虫项目，这里是叫做novel_sanguo
爬虫文件，这里取名是sanguo.py，写爬虫代码的地方
items（项目)：定义数据结构