简单概述一下scrapy中文网的写作构思。
凡事都是从最简单的做起,scrapy中文网就是这样一个简单帮助我们入门scrapy爬虫的简单小白文档。
关于编程基础,只要你懂一些python的数据结构,知道一些生成器,还有类,就可以开始学习此文档。此外,还需要一些html的基础知识,包含有一些节点元素的构造知道一些基本的标签以及属性,xpath与css选择器。
底下全部使用商店来类比爬虫信息的获取。
为什么要使用商店来进行爬虫信息的获取呢,因为都是想要去某个地方获取我们想要的东西。这其中怎么做很相似。
我们简单概述一下我们去购买商品的流程。
scrapy爬虫有三个重要的部分。第一,定义你想要爬取的网页,
首先爬取完整的网页。什么都不进行修改,也不进行信息的提取,就像你去商店里面买东西一样,他帮助你完成去商店的这个步骤,让你能够到达商店即可。
- 初始链接的获取。
- 对获取初始链接进行简化。
- 爬取一条数据。
- 爬取多条,一个网页中的数据
- 爬取多个网页的数据。
- 给网页添加上参数,以应对以后变化的各种需求
- 最后简单介绍获取html文本信息的两种选择器:CSS,XPATH
- 介绍一些再cmd命令行下对对scrapy爬虫程序进行调试、检测的工具。