scrapy中文网学习笔记

简单概述一下scrapy中文网的写作构思。
凡事都是从最简单的做起，scrapy中文网就是这样一个简单帮助我们入门scrapy爬虫的简单小白文档。
关于编程基础，只要你懂一些python的数据结构，知道一些生成器，还有类，就可以开始学习此文档。此外，还需要一些html的基础知识，包含有一些节点元素的构造知道一些基本的标签以及属性，xpath与css选择器。

底下全部使用商店来类比爬虫信息的获取。
为什么要使用商店来进行爬虫信息的获取呢，因为都是想要去某个地方获取我们想要的东西。这其中怎么做很相似。
我们简单概述一下我们去购买商品的流程。

---

scrapy爬虫有三个重要的部分。第一，定义你想要爬取的网页，
首先爬取完整的网页。什么都不进行修改，也不进行信息的提取，就像你去商店里面买东西一样，他帮助你完成去商店的这个步骤，让你能够到达商店即可。

---

1. 初始链接的获取。

• 对获取初始链接进行简化。

2. 爬取一条数据。
3. 爬取多条，一个网页中的数据
4. 爬取多个网页的数据。
5. 给网页添加上参数，以应对以后变化的各种需求

---

• 最后简单介绍获取html文本信息的两种选择器：CSS，XPATH
• 介绍一些再cmd命令行下对对scrapy爬虫程序进行调试、检测的工具。