手把手学爬虫第二弹——Scrapy框架

• scrapy.pcfg：项目配置文件。

2.编写items.py

这个文件是存储爬取数据的容器，存储形式类似于字典。

Define here the models for your scraped items

See documentation in:

https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

class MovieItem(scrapy.Item):

define the fields for your item here like:

name = scrapy.Field()

title = scrapy.Field() # 电影名称

info = scrapy.Field() # 导演与演员

score = scrapy.Field() # 电影评分

evaluation = scrapy.Field() # 评价人数

summary = scrapy.Field() # 电影总结

3.编写settings.py

全局设置都在这里，例如我们可以设置爬取间隔为1s。新建项目里面会有很多代码是注释的，我们不需要改动，需要对应的设置的时候再查看即可。

4.编写爬虫逻辑

爬虫逻辑我们统一写在spider文件下，即在spider文件夹下新建.py文件。

-- coding: utf-8 --

@Time : 2021/9/17 16:30

@Author : KK

@File : douban.py

@Software: PyCharm

-- coding: utf-8 --

import re

import scrapy

from scrapyTest.items import MovieItem

处理字符串中的空白符，并拼接字符串

def processing(strs):

s = ‘’ # 定义保存内容的字符串

for n in strs:

n = ‘’.join(n.split()) # 去除空字符

n = n.replace(" ", “”)

s = s + n # 拼接字符串

return s # 返回拼接后的字符串

class MoviespiderSpider(scrapy.Spider):

name = ‘movieSpider’ # 爬虫的名称，这个名称是唯一的且也是必须的

allowed_domains = [‘movie.douban.com’] # 允许爬虫爬取的域名列表

start_urls = [‘https://movie.douban.com/top250’] # 爬虫起始访问的URL

def parse(self, response):

li_all = re.findall(r’

• [\s\S]*?
• ', response.text)

  item = MovieItem()

  for each in li_all:

  names = re.findall(r’(.*)', each) # 获取电影名字相关信息

  item[‘name’] = processing(names) # 处理电影名称信息

  infos = re.findall(r’导演:(.*?)
  ', each) # 获取导演、主演等信息

  item[‘info’] = processing(infos) # 处理导演、主演等信息

  scores = re.findall(r’(.*)', each) # 获取电影评分

  item[‘score’] = processing(scores)

  evaluations = re.findall(r’(.*)', each) # 获取评分人数

  item[‘evaluation’] = processing(evaluations)

  summarys = re.findall(r’(.*)', each) # 获取评分人数

  item[‘summary’] = processing(summarys)

  yield item

  for i in range(1, 10):

  page = i * 25

  start = ‘?’ + ‘start=’ + str(page)

  next_url = response.urljoin(start)

  yield scrapy.Request(url=next_url, callback=self.parse)

  5.启动爬虫

  这时候一个简单的Scrapy爬虫就准备就绪了，在控制台输入

  scrapy crawl movieSpider -o items.json

  scrapy crawl保持不动

  movieSpider

  就可以启动爬虫了。但你会发现程序没有正常获取到数据，查看控制台输出发现返回值为403，这是我们的爬虫被服务器识别了，进行了反爬，解决办法是在settings.py文件加上我们的请求头进行伪装。

  

  这样启动我们每次都需要在控制台输入命令行，为了更加快捷的启动我们的项目，我们可以在项目文件根目录下新建一个main.py。

  -- coding: utf-8 --

  @Time : 2021/9/17 17:01

  @Author : KK

  @File : main.py

  @Software: PyCharm

  from scrapy.cmdline import execute

  import sys

  import os

  sys.path.append(os.path.dirname(os.path.abspath(file))) # 大括号内即把该文件路径变为绝对路径

  execute([“scrapy”, ‘crawl’, ‘movieSpider’, “-o”, “items.json”])

  至此我们的项目文件结构如下：

  

  6.运行效果截图

  红色的字体是正常的，项目运行信息就在这里面显示，不要认为红色就是报错了哈！！！！

  

  

  四、Scrapy扩展

  ---

  相比于自己编写的爬虫代码，Scrapy结构更加清晰，爬取速度也更快，所以我们一般用于爬取数据量较大的大型网站。但需要注意的是这类网站的反爬机制一般很完善，这就需要我们进一步伪装自己的爬虫，下面我们一起学习一下如何自定义中间件。

  1.设置随机请求头

  很多网页通过请求头判断是不是爬虫在访问，为了避免被服务器检测，我们可以自定义一个随机请求头的中间件。方法如下：

  • 在middlewares.py文件下加入如下代码：

  from fake_useragent import UserAgent

  自定义随机请求头的中间件

  class RandomHeaderMiddleware(object):

  def init(self, crawler):

  self.ua = UserAgent() # 随机请求头对象

  如果配置文件中不存在就使用默认的Google Chrome请求头

  self.type = crawler.settings.get(“RANDOM_UA_TYPE”, “chrome”)

  @classmethod

  def from_crawler(cls, crawler):

  返回cls()实例对象

  return cls(crawler)

  发送网络请求时调用该方法

  def process_request(self, request, spider):

  设置随机生成的请求头

  request.headers.setdefault(‘User-Agent’, getattr(self.ua, self.type))片

  • 在settings.py加入如下代码

  DOWNLOADER_MIDDLEWARES = {

  ‘scrapyTest.middlewares.RandomHeaderMiddleware’: 400,

  ‘scrapyTest.middlewares.ScrapytestDownloaderMiddleware’: 543, # 默认中间件

  }

  RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等

  • 使用随机请求头，编写一个测试爬虫

  -- coding: utf-8 --

  @Time : 2021/9/17 19:29

  @Author : KK

  @File : headerSpider.py

  @Software: PyCharm

  -- coding: utf-8 --

  import scrapy

  class HeaderspiderSpider(scrapy.Spider):

  name = ‘headerSpider’

  allowed_domains = [‘www.baidu.com’]

  start_urls = [‘https://www.baidu.com/’]

  def start_requests(self):

  设置爬取目标的地址

  urls = [

  ‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&rsv_sug3=6&rsv_sug1=4&rsv_sug7=100&rsv_sug2=1&rsv_btype=i&prefixsug=baidu&rsp=0&inputT=3099&rsv_sug4=4027’,

  ‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E5%9C%B0%E5%9B%BE&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&oq=%25E7%2599%25BE%25E5%25BA%25A6%25E7%25BF%25BB%25E8%25AF%2591&rsv_btype=t&inputT=1785&rsv_t=3f35TF2zzN98wRnfouxPtnf716zp3A%2BioNiu0jx9pBMEFCK0vPoF30WZV5cHOvfGVehfgGanCIE&rsv_sug3=9&rsv_sug1=7&rsv_sug7=100&rsv_pq=9a88ba610000b66d&rsv_sug2=1&prefixsug=%25E7%2599%25BE%25E5%25BA%25A6&rsp=0&rsv_sug4=3622’,

  ]

  获取所有地址，有几个地址发送几次请求

  for url in urls:

  发送网络请求

  yield scrapy.Request(url=url, callback=self.parse)

  def parse(self, response):

  打印每次网络请求的请求头信息

  print(‘请求信息为：’, response.request.headers.get(‘User-Agent’))

  pass

  • 测试结果

  这里你可能会报错，请参考我的bug记录！！

  bug记录

  2.设置cookies

  cookies代表用户信息，当我们需要爬取登陆后的网页信息时，可以将其存储起来，这样就可以在下次使用的时候直接获取而不需要再次登录。在Scrapy中使用方法如下：

  • 在middlewares.py文件下加入如下代码：

  自定义cookies中间件

  class CookiesdemoMiddleware(object):

  初始化

  def init(self, cookies_str):

  self.cookies_str = cookies_str

  @classmethod

  def from_crawler(cls, crawler):

  return cls(

  获取配置文件中的cookies信息

  cookies_str=crawler.settings.get(‘COOKIES_DEMO’)

  )

  cookies = {} # 保存格式化以后的cookies

  自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

  深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

  因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

  

  

  

  

  

  

  既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

  由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

  如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

  mg-gnbIUJMZ-1713786942580)]

  [外链图片转存中…(img-gDGrX0Bu-1713786942581)]

  [外链图片转存中…(img-STz3NlHR-1713786942582)]

  

  

  既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

  由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

  如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）