scrapy的深入使用：

不喜欢穿格子衫的程序员

于 2022-12-07 23:39:20 发布

阅读量127

点赞数

分类专栏： python 文章标签： scrapy

本文链接：https://blog.csdn.net/ljf520lhy/article/details/128228950

版权

python 专栏收录该内容

27 篇文章 0 订阅

订阅专栏

1.区分正常的debug和scrapy中的debug

2.scrapy shell的使用

scrapy shell是scrapy提供的一个终端工具，能够通过它查看scrapy中对象的属性和方法，以及测试xpath

使用方法：

scrapy shell https://www.sixstaredu.com/course/explore

在终端输入上述命令后，能够进入python的交互式终端，此时可以使用：

response.xpath()：直接测试xpath规则是否正确

response.url：当前响应的url地址

response.request.url：当前响应对应的请求的url地址

response.headers：响应头

response.body：响应体，也就是html代码，默认是byte类型r

esponse.requests.headers：当前响应的请求头

3.settings设置

3.1 为什么项目中需要配置文件

在配置文件中存放一些公共变量，在后续的项目中方便修改，如：本地测试数据库和部署服务器的数据库不一致

3.2 配置文件中的变量使用方法

变量名一般全部大写
导入即可使用

3.3 settings.py中的重点字段和含义

USER_AGENT 设置ua

ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守

CONCURRENT_REQUESTS 设置并发请求的数量，默认是16个

DOWNLOAD_DELAY 下载延迟，默认无延迟

COOKIES_ENABLED 是否开启cookie，即每次请求带上前一次的cookie，默认是开启的

DEFAULT_REQUEST_HEADERS 设置默认请求头，这里加入了USER_AGENT将不起作用

SPIDER_MIDDLEWARES 爬虫中间件，设置过程和管道相同

DOWNLOADER_MIDDLEWARES 下载中间件

LOG_LEVEL 控制终端输出信息的log级别，终端默认显示的是debug级别的log信息

LOG_LEVEL = "WARNING"

LOG_FILE 设置log日志文件的保存路径，如果设置该参数，终端将不再显示信息

LOG_FILE = "./test.log"

4.pipeline的深入使用

4.1 pipeline中常用的方法：

process_item(self,item,spider):实现对item数据的处理
open_spider(self, spider): 在爬虫开启的时候仅执行一次
close_spider(self, spider): 在爬虫关闭的时候仅执行一次

4.2 管道文件的修改

在pipelines.py代码中完善

import json
from pymongo import MongoClient

class SixstarFilePipeline(object):
    def open_spider(self, spider):  # 在爬虫开启的时候仅执行一次
        if spider.name == 'Sixstar':
            self.f = open('json.txt', 'a', encoding='utf-8')

    def close_spider(self, spider):  # 在爬虫关闭的时候仅执行一次
        if spider.name == 'Sixstar':
            self.f.close()

    def process_item(self, item, spider):
        if spider.name == 'Sixstar':
            self.f.write(json.dumps(dict(item), ensure_ascii=False, indent=2) + ',\n')
        return item  # 不return的情况下，另一个权重较低的pipeline将不会获得item

class SixstarMongoPipeline(object):
    def open_spider(self, spider):  # 在爬虫开启的时候仅执行一次
        if spider.name == 'Sixstar':
            con = MongoClient(host='127.0.0.1', port=27017) # 实例化mongoclient
            self.collection = con.Sixstar.teachers # 创建数据库名为Sixstar,集合名为teachers的集合操作对象

    def process_item(self, item, spider):
        if spider.name == 'Sixstar':
            self.collection.insert(dict(item)) # 此时item对象需要先转换为字典,再插入
        # 不return的情况下，另一个权重较低的pipeline将不会获得item
        return item

注意：