【2024】python面试题大全【爬虫阶段】_爬虫scrapy面试题

最新推荐文章于 2025-01-01 10:18:53 发布

2401_84558326

最新推荐文章于 2025-01-01 10:18:53 发布

阅读量1k

点赞数 4

分类专栏：程序员文章标签： python 爬虫 scrapy

本文链接：https://blog.csdn.net/2401_84558326/article/details/138313105

版权

程序员专栏收录该内容

130 篇文章

订阅专栏

119、简述 requests模块的作用及基本使用？

使用requests可以模拟浏览器发送的请求
发送get请求：requests.get()
发送post请求:requests.post()
读取请求返回内容:requests.text()
保存cookie:requests.cookie()

120、简述 beautifulsoup模块的作用及基本使用？

查找xml/html文本中查找指定信息的三方库
* 获取title信息 soup.title
* 获取title的属性 soup.title.attrs
https://blog.csdn.net/qq_37275405/article/details/80953517

121、简述 seleninu模块的作用及基本使用?

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

122、scrapy框架中各组件的工作流程？

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

123、在scrapy框架中如何设置代理（两种方法）？

from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
from urllib.request import getproxies

124、scrapy框架中如何实现大文件的下载？

FilesPipeline
ImagesPipeline

125、scrapy中如何实现限速？

修改setting文件的AUTOTHROTTLE_START_DELAY 打开后默认限速为5秒

126、scrapy中如何实现暂定爬虫？

在cmd上cd 进入项目
然后在项目目录下创建记录文件：remain/001
然后输入：scrapy crawl zhihu -s JOBDIR=remain/001
回车运行就行了
按ctrl+c 暂停
继续运行只要再次输入：scrapy crawl zhihu -s JOBDIR=remain/001就行了
需要重新爬取就换个文件 002就行了

127、scrapy中如何进行自定制命令？

在spiders同级创建任意目录，如：commands
在其中创建 crawlall.py 文件（此处文件名就是自定义的命令）

      from scrapy.commands import ScrapyCommand
      from scrapy.utils.project import get_project_settings


      class Command(ScrapyCommand):

          requires_project = True

          def syntax(self):
              return '[options]'

          def short\_desc(self):
              return 'Runs all of the spiders'

          def run(self, args, opts):
              spider_list = self.crawler_process.spiders.list()
              for name in spider_list:
                  self.crawler_process.crawl(name, **opts.__dict__)
              self.crawler_process.start()

在settings.py 中添加配置 COMMANDS_MODULE = ‘项目名称.目录名称’
在项目目录执行命令：scrapy crawlall

128、scrapy中如何实现的记录爬虫的深度？

class scrapy.contrib.spidermiddleware.depth.DepthMiddleware
DepthMiddleware是一个用于追踪每个Request在被爬取的网站的深度的中间件。其可以用来限制爬取深度的最大深度或类似的事情。

DepthMiddleware 可以通过下列设置进行配置(更多内容请参考设置文档):

DEPTH_LIMIT - 爬取所允许的最大深度，如果为0，则没有限制。
DEPTH_STATS - 是否收集爬取状态。
DEPTH_PRIORITY - 是否根据其深度对requet安排优先级

129、scrapy中的pipelines工作原理？

Scrapy 提供了 pipeline 模块来执行保存数据的操作。在创建的 Scrapy 项目中自动创建了一个 pipeline.py 文件，同时创建了一个默认的 Pipeline 类。我们可以根据需要自定义 Pipeline 类，然后在 settings.py 文件中进行配置即可

130、scrapy的pipelines如何丢弃一个item对象？

到pipelines的时候不执行持久化保存就会什么也不执行也就是丢弃

131、简述scrapy中爬虫中间件和下载中间件的作用？

下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

132、scrapy-redis组件的作用？

scheduler - 调度器
dupefilter - URL去重规则（被调度器使用）
pipeline - 数据持久化

133、scrapy-redis组件中如何实现的任务的去重？

定义去重规则（被调度器调用并应用）

  a. 内部会使用以下配置进行连接Redis

      # REDIS_HOST = 'localhost'                            # 主机名
      # REDIS_PORT = 6379                                   # 端口
      # REDIS_URL = 'redis://user:pass@hostname:9001'       # 连接URL（优先于以上配置）
      # REDIS_PARAMS  = {}                                  # Redis连接参数             默认：REDIS_PARAMS = {'socket_timeout': 30,'socket_connect_timeout': 30,'retry_on_timeout': True,'encoding': REDIS_ENCODING,}）
      # REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient' # 指定连接Redis的Python模块  默认：redis.StrictRedis
      # REDIS_ENCODING = "utf-8"                            # redis编码类型             默认：'utf-8'

  b. 去重规则通过redis的集合完成，集合的Key为：

      key = defaults.DUPEFILTER_KEY % {'timestamp': int(time.time())}
      默认配置：
          DUPEFILTER_KEY = 'dupefilter:%(timestamp)s'

  c. 去重规则中将url转换成唯一标示，然后在redis中检查是否已经在集合中存在

      from scrapy.utils import request
      from scrapy.http import Request

      req = Request(url='http://www.cnblogs.com/wupeiqi.html')
      result = request.request_fingerprint(req)
      print(result) # 8ea4fd67887449313ccc12e5b6b92510cc53675c


      PS:
          - URL参数位置不同时，计算结果一致；
          - 默认请求头不在计算范围，include_headers可以设置指定请求头
          示例：
              from scrapy.utils import request
              from scrapy.http import Request

              req = Request(url='http://www.baidu.com?name=8&id=1',callback=lambda x:print(x),cookies={'k1':'vvvvv'})
              result = request.request_fingerprint(req,include_headers=['cookies',])

              print(result)

              req = Request(url='http://www.baidu.com?id=1&name=8',callback=lambda x:print(x),cookies={'k1':666})

              result = request.request_fingerprint(req,include_headers=['cookies',])

              print(result)

!#Ensure all spiders share same duplicates filter through redis.