手把手学爬虫第二弹——Scrapy框架，你会的还只有初级工程师的技术吗

5.启动爬虫

这时候一个简单的Scrapy爬虫就准备就绪了，在控制台输入

scrapy crawl movieSpider -o items.json

scrapy crawl保持不动

movieSpider

就可以启动爬虫了。但你会发现程序没有正常获取到数据，查看控制台输出发现返回值为403，这是我们的爬虫被服务器识别了，进行了反爬，解决办法是在settings.py文件加上我们的请求头进行伪装。

这样启动我们每次都需要在控制台输入命令行，为了更加快捷的启动我们的项目，我们可以在项目文件根目录下新建一个main.py。

-- coding: utf-8 --

@Time : 2021/9/17 17:01

@Author : KK

@File : main.py

@Software: PyCharm

from scrapy.cmdline import execute

import sys

import os

sys.path.append(os.path.dirname(os.path.abspath(file))) # 大括号内即把该文件路径变为绝对路径

execute([“scrapy”, ‘crawl’, ‘movieSpider’, “-o”, “items.json”])

至此我们的项目文件结构如下：

6.运行效果截图

红色的字体是正常的，项目运行信息就在这里面显示，不要认为红色就是报错了哈！！！！

四、Scrapy扩展

---

相比于自己编写的爬虫代码，Scrapy结构更加清晰，爬取速度也更快，所以我们一般用于爬取数据量较大的大型网站。但需要注意的是这类网站的反爬机制一般很完善，这就需要我们进一步伪装自己的爬虫，下面我们一起学习一下如何自定义中间件。

1.设置随机请求头

很多网页通过请求头判断是不是爬虫在访问，为了避免被服务器检测，我们可以自定义一个随机请求头的中间件。方法如下：

• 在middlewares.py文件下加入如下代码：

from fake_useragent import UserAgent

自定义随机请求头的中间件

class RandomHeaderMiddleware(object):

def init(self, crawler):

self.ua = UserAgent() # 随机请求头对象

如果配置文件中不存在就使用默认的Google Chrome请求头

self.type = crawler.settings.get(“RANDOM_UA_TYPE”, “chrome”)

@classmethod

def from_crawler(cls, crawler):

返回cls()实例对象

return cls(crawler)

发送网络请求时调用该方法

def process_request(self, request, spider):

设置随机生成的请求头

request.headers.setdefault(‘User-Agent’, getattr(self.ua, self.type))片

• 在settings.py加入如下代码

DOWNLOADER_MIDDLEWARES = {

‘scrapyTest.middlewares.RandomHeaderMiddleware’: 400,

‘scrapyTest.middlewares.ScrapytestDownloaderMiddleware’: 543, # 默认中间件

}

RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等

• 使用随机请求头，编写一个测试爬虫

-- coding: utf-8 --

@Time : 2021/9/17 19:29

@Author : KK

@File : headerSpider.py

@Software: PyCharm

-- coding: utf-8 --

import scrapy

class HeaderspiderSpider(scrapy.Spider):

name = ‘headerSpider’

allowed_domains = [‘www.baidu.com’]

start_urls = [‘https://www.baidu.com/’]

def start_requests(self):

设置爬取目标的地址

urls = [

‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&rsv_sug3=6&rsv_sug1=4&rsv_sug7=100&rsv_sug2=1&rsv_btype=i&prefixsug=baidu&rsp=0&inputT=3099&rsv_sug4=4027’,

‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E5%9C%B0%E5%9B%BE&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&oq=%25E7%2599%25BE%25E5%25BA%25A6%25E7%25BF%25BB%25E8%25AF%2591&rsv_btype=t&inputT=1785&rsv_t=3f35TF2zzN98wRnfouxPtnf716zp3A%2BioNiu0jx9pBMEFCK0vPoF30WZV5cHOvfGVehfgGanCIE&rsv_sug3=9&rsv_sug1=7&rsv_sug7=100&rsv_pq=9a88ba610000b66d&rsv_sug2=1&prefixsug=%25E7%2599%25BE%25E5%25BA%25A6&rsp=0&rsv_sug4=3622’,

]

获取所有地址，有几个地址发送几次请求

for url in urls:

发送网络请求

yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):

打印每次网络请求的请求头信息

print(‘请求信息为：’, response.request.headers.get(‘User-Agent’))

pass

• 测试结果

这里你可能会报错，请参考我的bug记录！！

bug记录

2.设置cookies

cookies代表用户信息，当我们需要爬取登陆后的网页信息时，可以将其存储起来，这样就可以在下次使用的时候直接获取而不需要再次登录。在Scrapy中使用方法如下：

• 在middlewares.py文件下加入如下代码：

自定义cookies中间件

class CookiesdemoMiddleware(object):

初始化

def init(self, cookies_str):

self.cookies_str = cookies_str

@classmethod

def from_crawler(cls, crawler):

return cls(

获取配置文件中的cookies信息

cookies_str=crawler.settings.get(‘COOKIES_DEMO’)

)

cookies = {} # 保存格式化以后的cookies

def process_request(self, request, spider):

for cookie in self.cookies_str.split(‘;’): # 通过；分割cookies字符串

key, value = cookie.split(‘=’, 1) # 将key与值进行分割

self.cookies.setitem(key, value) # 将分割后的数据保存至字典中

request.cookies = self.cookies # 设置格式化以后的cookies

• 在settings.py加入如下代码

DOWNLOADER_MIDDLEWARES = {

启动自定义cookies中间件

‘cookiesDemo.middlewares.CookiesdemoMiddleware’: 201,

启动自定义随机请求头中间件

‘cookiesDemo.middlewares.RandomHeaderMiddleware’:202,

禁用默认生成的配置信息

‘cookiesDemo.middlewares.CookiesdemoDownloaderMiddleware’: None,

}

RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等

定义从浏览器中获取的Cookies

COOKIES_DEMO = ‘浏览器获取的cookies’

• 使用同上！！省略

3.设置代理

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

t_70)

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-sHvt9uh8-1711016447671)]