一.常见命令
scrapy全局命令可以在任何地方用,项目命令只能在项目路径下用
全局命令: 项目命令: startproject crawl genspider check settings list runspider edit shell parse fetch bench view version
1.创建项目
scrapy startproject <project_name> [project_dir] 示例: scrapy startproject douban
2.在项目中创建spiders
scrapy genspider [-t template] <name> <domain> 示例: scrapy genspider douban www.douban.com <name>是spiders名字 <domain>是所爬取网站域名,文件中会根据这个生成allowed_domains和start_urls [-t template]可以根据模板来创建,有basic crawl csvfeed xmlfeed等
3.启动爬虫
scrapy crawl <spider> -o 可以指定输出格式 --nolog 可以关闭打印log
4.查看所有爬虫
scrapy list
5.打印响应
scrapy fetch <url> --nolog 不打印log 只显示content --headers 打印响应头部
6.调试shell
scrapy shell [url] 进入命令行调试,可以使用response.css xpath这些方法来检测数据,打印源码等
7.显示项目的设置
scrapy settings --get BOT_NAME BOT_NAME默认为项目名,可以在settings.py改
8.不创建项目运行spiders
scrapy runspider <spider_file.py>
二.Spider类
name #爬虫名称,是定义Spider名字的字符串,在项目中唯一 allowed_domains #允许爬取的域名,是可选配置,不在此范围的链接不会被跟进爬取 start_urls #起始URL列表,没有实现start_requests()方法时,默认会从这个列表开始抓取 custom_settings #spider专属设置,会覆盖全局设置 crawler #crawler对象与spider的绑定,代表的是本Spider类对应的Crawler对象(有点懵的东西) setttings #运行此蜘蛛的配置。这是一个 Settings实例 logger #指定Spider创建的Python logger name。可以使用它来发送日志消息
2.类方法
from_crawler(cls, crawler, *args, **kwargs) #类方法,用于实例化某个对象(中间件,模块),将之绑定到spider类上 start_requests(self) #生成器,返回由 URL 构造的 Request,作为入口在爬虫启动时自动运行。实现了本方法,则忽略start_urls。当然,方法内使用start_urls另说。 parse(self, response) #默认 Response 解析函数(request默认回调函数),此方法以及任何其他Request回调必须返回可迭代的Request和/或dicts或Item对象 closed(self, reason) #爬虫关闭时自动运行,实现了spider_closed信号绑定
三.request对象
scrapy使用内置的scrapy.http.Request与Response对象去请求网络资源与响应的处理
PS :在我们写spider的时候,主要是import scrapy, 然后Spider类与request类的引用路径则是scrapy.Spider与scrapy.Request。与我们在官网看见的文档不同,这是因为在源码scrapy/__init__.py中
增加了缩写
scrapy/__init__.py # Declare top-level shortcuts from scrapy.spiders import Spider from scrapy.http import Request, FormRequest from scrapy.selector import Selector from scrapy.item import Item, Field
Request对象
scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback, flags, cb_kwargs])
参数解析
url( string ) #请求的URL callback #回调函数,请求下载完成后,调用的方法,response对象为第一参数 method(string) #请求的HTTP方法。默认为'GET' meta(dict) #元数据,表示要携带或者传递的信息,可用户自定义从Request到Response传递参数,这个参数一般也可在middlewares中处理 body(str或unicode)#请求主体body,就是HTTP报文请求头后面的内容 headers(dict)#请求头,字典格式 cookie(dict或list) #cookie,字典或者多个字典的list encoding(string)#编码,默认utf-8 priority(int)#请求的优先级(默认为0)。调度器使用优先级来定义用于处理请求的顺序。具有较高优先级值的请求将较早执行。允许负值以指示相对低优先级 dont_filter(boolean)#如果需要多次提交表单,且url一样,那么就必须设置参数dont_filter = True,防止被当成重复网页过滤掉了,默认false errback(callable)#在处理请求时引发任何异常时将调用的函数 flags(list)#发送到请求的标志,可用于日志记录或类似目的 cb_kwargs(dict)#一个带有任意数据的字典,它将作为关键字参数传递给Request的回调。
属性与方法
url #请求url method #请求方法 headers #请求头,字典类型 body #请求主体str meta #可用户自定义从Request到Response传递参数,这个参数一般也可在middlewares中处理 cb_kwargs #与参数一样 copy() #返回副本 replace (参数) #替换对应参数,返回新的request
FormRequest对象
FormRequest类扩展了基础Request,具有处理HTML表单的功能,比Request增加formdata参数
1. scrapy.http.FormRequest(url [,formdata,... ] )
formdata(元组的dict或iterable) #是包含HTML表单数据的字典(或(key,value)元组的可迭代的),它将被url编码并分配给请求的主体。
模拟表单POST发送,formdata的 参数值 value 必须是unicode , str 或者 bytes object,不能是整数
return [FormRequest(url="http://www.example.com/post/action", formdata={'name': 'John Doe', 'age': '27'}, callback=self.after_post)]
2. from_response()方法
网站通常通过<input type =“hidden”>元素提供预先填充的表单字段,例如会话相关数据或身份验证令牌(用于登录页面)。 在抓取时,希望自动预先填充这些字段,并仅覆盖其中的一些字段,例如用户名和密码。 可以使用FormRequest.from_response()方法,示例如下
import scrapy def authentication_failed(response): # TODO: Check the contents of the response and return True if it failed # or False if it succeeded. pass class LoginSpider(scrapy.Spider): name = 'example.com' start_urls = ['http://www.example.com/users/login.php'] def parse(self, response): return scrapy.FormRequest.from_response( response, formdata={'username': 'john', 'password': 'secret'}, callback=self.after_login ) def after_login(self, response): if authentication_failed(response): self.logger.error("Login failed") return # continue scraping with authenticated session...
如果想要请求的界面HTML中有表单信息 表单元素from_response()方法就可以自动识别里面的表单,并将参数传入表单
但实际from_response()能做的,FormRequest也能做,建议用FormRequest
JSONRequest对象
JSONRequest类增加了两个新的参数构造函数。其余参数与Request类相同。使用JSONRequest将设置Content-Type标头application/json 和Accept标头application/json, text/javascript, */*; q=0.01
scrapy.http.JSONRequest(url [,... data,dumps_kwargs ] )
data(JSON可序列化对象) #是任何需要JSON编码并分配给body的JSON可序列化对象。如果Request.body提供了参数,则将忽略此参数。如果Request.body未提供参数且提供的数据参数Request.method将'POST'自动设置。 dumps_kwargs(dict) #将传递给基础json.dumps方法的参数,该方法用于将数据序列化为JSON格式。
示例
data = { 'name1': 'value1', 'name2': 'value2', } yield JSONRequest(url='http://www.example.com/post/action', data=data)
四.Response对象
Response类用于http下载返回信息的类,它有几个子类:TextResponse 、 HtmlResponse 、 XmlResponse。关系如下:
Response
-TextResponse -HtmlResponse -XmlResponse
一般情况下,当一个页面下载完成时,下载器依据HTTP响应头部中的Content-Type信息创建某个Response的子类对象,通常一般是HtmlResponse子类,并通过response的形参传入request的回调函数进行我们的提取数据操作
Response基类
scrapy.http.Response(url [,status = 200,headers = None,body = b'',flags = None,request = None ] )
参数与request对象差不多,而且使用Response属性与方法较多,这里省略参数,具体可以官网查看https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request
对象属性
url #响应的url字符串,(不一定是请求的地址,需考虑重定向) status #响应的HTTP状态的整数。示例:200, 404 headers #响应头,字典类型,若要获取特定的值用get('keyname') getlist('keyname');get('keyname') : 获取指定key的第一个value值 返回str;getlist('keyname') : 获取指定key的所有value值 返回list body #响应正文,字节对象 request #返回请求此响应的Request对象 meta #元数据,可以获取Request.meta中的数据。可以理解meta就是一个中继数据 flags #包含此响应标志的列表
对象方法
copy() #返回一个新的Response,它是此Response的副本 replace([ url,status,headers,body,request,flags,cls ] ) #返回替换了对应参数的新对象 urljoin(url ) #通过将Response url与可能的相对URL 组合来构造绝对URL follow(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, cb_kwargs=None)
#可以接收url或相对url的Request请求方法。常用于下一页请求。
TextResponse对象
TextResponse主要继承于基类Response,并且新加了一些方法的实现,以及新的对象属性
class scrapy.http.TextResponse(url [,encoding [,... ] ] )
属性
text #响应文本,与response.body.decode(response.encoding)类似,但是text更方便 encoding #HTTP 响应正文的编码,它的值可能是从HTTP响应头部或正文中解析出来的 selector #Selector 对象用于在Response 中提取数据
在基类新增的方法
xpath(query) #使用XPath选择器在Response中提取数据;它是 response.selector.xpath 方法的快捷方式 css(query) #使用 CSS选择器在Response中提取数据;它是 response.selector.css方法的快捷方式。
HtmlResponse与XmlResponse
HtmlResponse和XmlResponse在源码实现上就是继承了TextResponse,目前与TextResponse没有区别