手把手学爬虫第二弹——Scrapy框架，大厂面试经验分享稿

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

for i in range(1, 10):

page = i * 25

start = ‘?’ + ‘start=’ + str(page)

next_url = response.urljoin(start)

yield scrapy.Request(url=next_url, callback=self.parse)

5.启动爬虫

这时候一个简单的Scrapy爬虫就准备就绪了，在控制台输入

scrapy crawl movieSpider -o items.json

scrapy crawl保持不动

movieSpider

就可以启动爬虫了。但你会发现程序没有正常获取到数据，查看控制台输出发现返回值为403，这是我们的爬虫被服务器识别了，进行了反爬，解决办法是在settings.py文件加上我们的请求头进行伪装。

这样启动我们每次都需要在控制台输入命令行，为了更加快捷的启动我们的项目，我们可以在项目文件根目录下新建一个main.py。

-- coding: utf-8 --

@Time : 2021/9/17 17:01

@Author : KK

@File : main.py

@Software: PyCharm

from scrapy.cmdline import execute

import sys

import os

sys.path.append(os.path.dirname(os.path.abspath(file))) # 大括号内即把该文件路径变为绝对路径

execute([“scrapy”, ‘crawl’, ‘movieSpider’, “-o”, “items.json”])

至此我们的项目文件结构如下：

6.运行效果截图

红色的字体是正常的，项目运行信息就在这里面显示，不要认为红色就是报错了哈！！！！

四、Scrapy扩展

---

相比于自己编写的爬虫代码，Scrapy结构更加清晰，爬取速度也更快，所以我们一般用于爬取数据量较大的大型网站。但需要注意的是这类网站的反爬机制一般很完善，这就需要我们进一步伪装自己的爬虫，下面我们一起学习一下如何自定义中间件。

1.设置随机请求头

很多网页通过请求头判断是不是爬虫在访问，为了避免被服务器检测，我们可以自定义一个随机请求头的中间件。方法如下：

• 在middlewares.py文件下加入如下代码：

from fake_useragent import UserAgent

自定义随机请求头的中间件

class RandomHeaderMiddleware(object):

def init(self, crawler):

self.ua = UserAgent() # 随机请求头对象

如果配置文件中不存在就使用默认的Google Chrome请求头

self.type = crawler.settings.get(“RANDOM_UA_TYPE”, “chrome”)

@classmethod

def from_crawler(cls, crawler):

返回cls()实例对象

return cls(crawler)

发送网络请求时调用该方法

def process_request(self, request, spider):

设置随机生成的请求头

request.headers.setdefault(‘User-Agent’, getattr(self.ua, self.type))片

• 在settings.py加入如下代码

DOWNLOADER_MIDDLEWARES = {

‘scrapyTest.middlewares.RandomHeaderMiddleware’: 400,

‘scrapyTest.middlewares.ScrapytestDownloaderMiddleware’: 543, # 默认中间件

}

RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等

• 使用随机请求头，编写一个测试爬虫

-- coding: utf-8 --

@Time : 2021/9/17 19:29

@Author : KK

@File : headerSpider.py

@Software: PyCharm

-- coding: utf-8 --

import scrapy

class HeaderspiderSpider(scrapy.Spider):

name = ‘headerSpider’

allowed_domains = [‘www.baidu.com’]

start_urls = [‘https://www.baidu.com/’]

def start_requests(self):

设置爬取目标的地址

urls = [

‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&rsv_sug3=6&rsv_sug1=4&rsv_sug7=100&rsv_sug2=1&rsv_btype=i&prefixsug=baidu&rsp=0&inputT=3099&rsv_sug4=4027’,

‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E5%9C%B0%E5%9B%BE&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&oq=%25E7%2599%25BE%25E5%25BA%25A6%25E7%25BF%25BB%25E8%25AF%2591&rsv_btype=t&inputT=1785&rsv_t=3f35TF2zzN98wRnfouxPtnf716zp3A%2BioNiu0jx9pBMEFCK0vPoF30WZV5cHOvfGVehfgGanCIE&rsv_sug3=9&rsv_sug1=7&rsv_sug7=100&rsv_pq=9a88ba610000b66d&rsv_sug2=1&prefixsug=%25E7%2599%25BE%25E5%25BA%25A6&rsp=0&rsv_sug4=3622’,

]

获取所有地址，有几个地址发送几次请求

for url in urls:

发送网络请求

yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):

打印每次网络请求的请求头信息

print(‘请求信息为：’, response.request.headers.get(‘User-Agent’))

pass

• 测试结果

这里你可能会报错，请参考我的bug记录！！

bug记录

2.设置cookies

cookies代表用户信息，当我们需要爬取登陆后的网页信息时，可以将其存储起来，这样就可以在下次使用的时候直接获取而不需要再次登录。在Scrapy中使用方法如下：

• 在middlewares.py文件下加入如下代码：

自定义cookies中间件

class CookiesdemoMiddleware(object):

初始化

def init(self, cookies_str):

self.cookies_str = cookies_str

@classmethod

def from_crawler(cls, crawler):

return cls(

获取配置文件中的cookies信息

cookies_str=crawler.settings.get(‘COOKIES_DEMO’)

)

cookies = {} # 保存格式化以后的cookies

def process_request(self, request, spider):

for cookie in self.cookies_str.split(‘;’): # 通过；分割cookies字符串

key, value = cookie.split(‘=’, 1) # 将key与值进行分割

self.cookies.setitem(key, value) # 将分割后的数据保存至字典中

request.cookies = self.cookies # 设置格式化以后的cookies

• 在settings.py加入如下代码

DOWNLOADER_MIDDLEWARES = {

启动自定义cookies中间件

‘cookiesDemo.middlewares.CookiesdemoMiddleware’: 201,

启动自定义随机请求头中间件

‘cookiesDemo.middlewares.RandomHeaderMiddleware’:202,

禁用默认生成的配置信息

‘cookiesDemo.middlewares.CookiesdemoDownloaderMiddleware’: None,

}

RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等

定义从浏览器中获取的Cookies

COOKIES_DEMO = ‘浏览器获取的cookies’

• 使用同上！！省略

3.设置代理

在第一弹中我们学习了如何在普通爬虫中使用代理ip，接下来我们在scrapy中使用代理ip。

• 在middlewares.py文件下加入如下代码：

class IpRandomProxyMiddleware(object):

定义有效的代理ip列表

PROXIES = [

‘117.88.177.0:3000’,

‘117.45.139.179:9006’,

‘202.115.142.147:9200’,

‘117.87.50.89:8118’]

发送网络请求时调用

def process_request(self, request, spider):

proxy = random.choice(self.PROXIES) # 随机抽取代理ip

request.meta[‘proxy’] = ‘http://’ + proxy # 设置网络请求所使用的代理ip

• 在settings.py加入如下代码

激活自定义随机获取代理ip的中间件

‘scrapyTest.middlewares.IpRandomProxyMiddleware’: 203,

禁用默认生成的配置信息

‘scrapyTest.middlewares.CookiesdemoDownloaderMiddleware’: None,

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-sQ5evlTA-1713086155871)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！