- scrapy.pcfg：项目配置文件。
2.编写items.py
这个文件是存储爬取数据的容器，存储形式类似于字典。
Define here the models for your scraped items
See documentation in:
https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class MovieItem(scrapy.Item):
define the fields for your item here like:
name = scrapy.Field()
title = scrapy.Field() # 电影名称
info = scrapy.Field() # 导演与演员
score = scrapy.Field() # 电影评分
evaluation = scrapy.Field() # 评价人数
summary = scrapy.Field() # 电影总结
3.编写settings.py
全局设置都在这里，例如我们可以设置爬取间隔为1s。新建项目里面会有很多代码是注释的，我们不需要改动，需要对应的设置的时候再查看即可。
4.编写爬虫逻辑
爬虫逻辑我们统一写在spider文件下，即在spider文件夹下新建.py文件。
-- coding: utf-8 --
@Time : 2021/9/17 16:30
@Author : KK
@File : douban.py
@Software: PyCharm
-- coding: utf-8 --
import re
import scrapy
from scrapyTest.items import MovieItem
处理字符串中的空白符，并拼接字符串
def processing(strs):
s = ‘’ # 定义保存内容的字符串
for n in strs:
n = ‘’.join(n.split()) # 去除空字符
n = n.replace(" ", “”)
s = s + n # 拼接字符串
return s # 返回拼接后的字符串
class MoviespiderSpider(scrapy.Spider):
name = ‘movieSpider’ # 爬虫的名称，这个名称是唯一的且也是必须的
allowed_domains = [‘movie.douban.com’] # 允许爬虫爬取的域名列表
start_urls = [‘https://movie.douban.com/top250’] # 爬虫起始访问的URL
def parse(self, response):
li_all = re.findall(r’
- [\s\S]*?
- ', response.text)
item = MovieItem()
for each in li_all:
names = re.findall(r’(.*)', each) # 获取电影名字相关信息
item[‘name’] = processing(names) # 处理电影名称信息
infos = re.findall(r’导演:(.*?)
', each) # 获取导演、主演等信息item[‘info’] = processing(infos) # 处理导演、主演等信息
scores = re.findall(r’', each) # 获取电影评分
item[‘score’] = processing(scores)
evaluations = re.findall(r’(.*)', each) # 获取评分人数
item[‘evaluation’] = processing(evaluations)
summarys = re.findall(r’(.*)', each) # 获取评分人数
item[‘summary’] = processing(summarys)
yield item
for i in range(1, 10):
page = i * 25
start = ‘?’ + ‘start=’ + str(page)
next_url = response.urljoin(start)
yield scrapy.Request(url=next_url, callback=self.parse)
5.启动爬虫
这时候一个简单的Scrapy爬虫就准备就绪了，在控制台输入
scrapy crawl movieSpider -o items.json
scrapy crawl保持不动
movieSpider
就可以启动爬虫了。但你会发现程序没有正常获取到数据，查看控制台输出发现返回值为403，这是我们的爬虫被服务器识别了，进行了反爬，解决办法是在settings.py文件加上我们的请求头进行伪装。
这样启动我们每次都需要在控制台输入命令行，为了更加快捷的启动我们的项目，我们可以在项目文件根目录下新建一个main.py。
-- coding: utf-8 --
@Time : 2021/9/17 17:01
@Author : KK
@File : main.py
@Software: PyCharm
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(file))) # 大括号内即把该文件路径变为绝对路径
execute([“scrapy”, ‘crawl’, ‘movieSpider’, “-o”, “items.json”])
至此我们的项目文件结构如下：
6.运行效果截图
红色的字体是正常的，项目运行信息就在这里面显示，不要认为红色就是报错了哈！！！！
相比于自己编写的爬虫代码，Scrapy结构更加清晰，爬取速度也更快，所以我们一般用于爬取数据量较大的大型网站。但需要注意的是这类网站的反爬机制一般很完善，这就需要我们进一步伪装自己的爬虫，下面我们一起学习一下如何自定义中间件。
1.设置随机请求头
很多网页通过请求头判断是不是爬虫在访问，为了避免被服务器检测，我们可以自定义一个随机请求头的中间件。方法如下：
- 在middlewares.py文件下加入如下代码：
from fake_useragent import UserAgent
自定义随机请求头的中间件
class RandomHeaderMiddleware(object):
def init(self, crawler):
self.ua = UserAgent() # 随机请求头对象
如果配置文件中不存在就使用默认的Google Chrome请求头
self.type = crawler.settings.get(“RANDOM_UA_TYPE”, “chrome”)
@classmethod
def from_crawler(cls, crawler):
返回cls()实例对象
return cls(crawler)
发送网络请求时调用该方法
def process_request(self, request, spider):
设置随机生成的请求头
request.headers.setdefault(‘User-Agent’, getattr(self.ua, self.type))片
- 在settings.py加入如下代码
DOWNLOADER_MIDDLEWARES = {
‘scrapyTest.middlewares.RandomHeaderMiddleware’: 400,
‘scrapyTest.middlewares.ScrapytestDownloaderMiddleware’: 543, # 默认中间件
}
RANDOM_UA_TYPE = “random” # 设置请求头为随机，还可以是ie等
- 使用随机请求头，编写一个测试爬虫
-- coding: utf-8 --
@Time : 2021/9/17 19:29
@Author : KK
@File : headerSpider.py
@Software: PyCharm
-- coding: utf-8 --
import scrapy
class HeaderspiderSpider(scrapy.Spider):
name = ‘headerSpider’
allowed_domains = [‘www.baidu.com’]
start_urls = [‘https://www.baidu.com/’]
def start_requests(self):
设置爬取目标的地址
urls = [
‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&rsv_sug3=6&rsv_sug1=4&rsv_sug7=100&rsv_sug2=1&rsv_btype=i&prefixsug=baidu&rsp=0&inputT=3099&rsv_sug4=4027’,
‘https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6%E5%9C%B0%E5%9B%BE&rsv_spt=1&rsv_iqid=0xa003c5490000a924&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=02003390_8_hao_pg&rsv_enter=1&rsv_dl=ts_0&oq=%25E7%2599%25BE%25E5%25BA%25A6%25E7%25BF%25BB%25E8%25AF%2591&rsv_btype=t&inputT=1785&rsv_t=3f35TF2zzN98wRnfouxPtnf716zp3A%2BioNiu0jx9pBMEFCK0vPoF30WZV5cHOvfGVehfgGanCIE&rsv_sug3=9&rsv_sug1=7&rsv_sug7=100&rsv_pq=9a88ba610000b66d&rsv_sug2=1&prefixsug=%25E7%2599%25BE%25E5%25BA%25A6&rsp=0&rsv_sug4=3622’,
]
获取所有地址，有几个地址发送几次请求
for url in urls:
发送网络请求
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
打印每次网络请求的请求头信息
print(‘请求信息为：’, response.request.headers.get(‘User-Agent’))
pass
- 测试结果
这里你可能会报错，请参考我的bug记录！！
2.设置cookies
cookies代表用户信息，当我们需要爬取登陆后的网页信息时，可以将其存储起来，这样就可以在下次使用的时候直接获取而不需要再次登录。在Scrapy中使用方法如下：
- 在middlewares.py文件下加入如下代码：
自定义cookies中间件
class CookiesdemoMiddleware(object):
初始化
def init(self, cookies_str):
self.cookies_str = cookies_str
@classmethod
def from_crawler(cls, crawler):
return cls(
获取配置文件中的cookies信息
cookies_str=crawler.settings.get(‘COOKIES_DEMO’)
)
cookies = {} # 保存格式化以后的cookies
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
mg-gnbIUJMZ-1713786942580)]
[外链图片转存中…(img-gDGrX0Bu-1713786942581)]
[外链图片转存中…(img-STz3NlHR-1713786942582)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
1100
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
