scrapy框架的Spiders模块的基本类Spider的主要方法以及作用
Spider 是最基本的类,所有编写的爬虫必须继承这个类!这个类的主要功能(也是spiders模块在框架里的作用): 1.发起起始的请求 2.解析响应,抽取数据和跟进的url ①定义了爬取行为 ②定义了数据抽取行为 通俗来说就是解析response,分析得到数据以及产生新的url以下是Spider源码里面核心模块的主要功能Spider源代码的init方法:初始化并判定spid...
原创
2018-05-08 21:13:23 ·
3781 阅读 ·
0 评论