『scrapy爬虫』02.实战豆瓣小例子（保姆级图文）

最新推荐文章于 2024-06-21 10:51:34 发布
最新推荐文章于 2024-06-21 10:51:34 发布
阅读量1.9k 收藏 26
点赞数 10
分类专栏： python # scrapy爬虫 # python爬虫 文章标签： scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011027547/article/details/136532746
版权
python 同时被 3 个专栏收录
201 篇文章 156 订阅
订阅专栏
python爬虫
47 篇文章 16 订阅
订阅专栏
scrapy爬虫
14 篇文章 0 订阅
订阅专栏

目录

欢迎关注 『scrapy爬虫』 专栏，持续更新中
欢迎关注 『scrapy爬虫』 专栏，持续更新中

1. 拿到要抓取的数据

仿照前面的百度,新建豆瓣的spider

scrapy genspider 爬虫文件名 爬虫的url
scrapy genspider douban movie.douban.com

我们的目标网页是https://movie.douban.com/top250,分析网页结构,一个li代表一个电影,用选择器来定位元素,右键电影,审查元素,然后对着li右键复制Selector定位属性
在这里插入图片描述

在我们前面的每个li中,找到span,拿到class为title的span的text属性.
douban.py内容如下

import scrapy
from scrapy import Selector

class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["movie.douban.com"]# 限制或允许访问的域名列表
    start_urls = ["https://movie.douban.com/top250"] # 起始url

    def parse(self, response):
		myselector=Selector(text=response.text)
        # 拿到了所有的li,也就是所有的电影,每一个li代表一个电影,list_items是由250个电影li组成的list
        list_items=myselector.css("#content > div > div.article > ol > li")
        for list_item in list_items:
            # 电影标题的 Selector
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)
            list_item.css("span.title::text").extract_first() # extract_first()从选择器中提取第一个匹配的数据。
            # 电影评分
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.bd > div > span.rating_num
            list_item.css("span.rating_num::text").extract_first()  # extract_first()从选择器中提取第一个匹配的数据。
            # 电影影评
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.bd > p.quote > span
            list_item.css("span.inq::text").extract_first()  # extract_first()从选择器中提取第一个匹配的数据。

2. 封装item类

前面拿到了数据,但是太零散了,封装类方便后续操作.

在这里插入图片描述
item.py内容如下

import scrapy
class MovieItem(scrapy.Item):
    title=scrapy.Field()
    score=scrapy.Field()
    quato=scrapy.Field()

同时,douban.py内容相互对应

import scrapy
from scrapy import Selector

from myscrapy.items import MovieItem


class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["movie.douban.com"]# 限制或允许访问的域名列表
    start_urls = ["https://movie.douban.com/top250"] # 起始url

    def parse(self, response):
        myselector=Selector(text=response.text)
        # 拿到了所有的li,也就是所有的电影,每一个li代表一个电影,list_items是由250个电影li组成的list
        list_items=myselector.css("#content > div > div.article > ol > li")
        for list_item in list_items:
            movie_item=MovieItem()#新建类的对象
            # 电影标题的 Selector
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)
            movie_item['title']=list_item.css("span.title::text").extract_first() # extract_first()从选择器中提取第一个匹配的数据。
            # 电影评分
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.bd > div > span.rating_num
            movie_item['score']=list_item.css("span.rating_num::text").extract_first()  # extract_first()从选择器中提取第一个匹配的数据。
            # # 电影影评
            # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.bd > p.quote > span
            movie_item['quato']=list_item.css("span.inq::text").extract_first()  # extract_first()从选择器中提取第一个匹配的数据。

            yield movie_item#把整理得到的数据给管道

3. 修改一些常用的设置

包括浏览器头,并发数量,下载延迟,日志配置.

# USER_AGENT = "myscrapy (+http://www.yourdomain.com)"#告诉网站 我是爬虫,马上被枪毙~
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
#我是好人,浏览器头

# 是否遵守爬虫协议
ROBOTSTXT_OBEY = True

#设置 Scrapy 引擎同时处理的并发请求数量。 少设置一点不要给网站太大压力! (default: 16)
CONCURRENT_REQUESTS = 8

# 随机下载延迟
RANDOMIZE_DOWNLOAD_DELAY = True
#随机延时 3秒
DOWNLOAD_DELAY = 3

#配置日志
LOG_ENABLED = False #开启日志

LOG_LEVEL = 'DEBUG'#设置日志级别。例如，要将日志级别设置为输出所有信息，可以这样配置：通过将日志级别设置为 DEBUG，你可以获取爬虫程序执行过程中的所有详细信息，包括请求、响应、数据处理等各个环节的日志输出。当然，如果你只想获取部分信息，比如只关注警告和错误信息，也可以将日志级别设置为 WARNING 或 ERROR。在运行爬虫时，Scrapy 默认会将日志输出到控制台。如果你希望将日志保存到文件中，还可以设置 LOG_FILE 配置选项，例如：

LOG_FILE = 'scrapy.log'#设置日志文件名字 上述配置会将日志输出到名为 scrapy.log 的文件中。

FEED_EXPORT_ENCODING = "utf-8"#通用编码
FEED_EXPORT_ENCODING = "gbk"#中文编码
FEED_OVERWRITE = True # 是否覆盖上次的数据,如果为false每次都是默认的在上次的csv文件后继续写入新的数据

查看日志文件
在这里插入图片描述

4. 代码运行程序生成csv

在pycharm的中断teiminal中,爬取数据并存放到csv


scrapy crawl douban -o douban.csv

csv可以改成下面任意参数
('json', 'jsonlines', 'jsonl', 'jl', 'csv', 'xml', 'marshal', 'pickle')
比如说
scrapy crawl douban -o douban.json

在这里插入图片描述
生成成功
在这里插入图片描述
在这里插入图片描述
pycharm中打开csv看到的是中文,因为默认utf8,如果你在外面用excel打开是乱码,因为你中文系统,默认用的gbk编码.

FEED_EXPORT_ENCODING = "gbk"#中文编码,可以让你外面excel打开时也是正常的

在这里插入图片描述

小结

scrapy最大优势就是你只需要负责专注数据爬取,剩下的其他下载多线程并发,数据持久化保存都交给了已经造好的轮子框架,减少工作量.

总结

大家喜欢的话，给个👍，点个关注！给大家分享更多计算机专业学生的求学之路！

版权声明：

发现你走远了@mzh原创作品，转载必须标注原文链接

Copyright 2024 mzh

Crated：2024-3-1

欢迎关注 『scrapy爬虫』 专栏，持续更新中
欢迎关注 『scrapy爬虫』 专栏，持续更新中
『未完待续』

发现你走远了
关注
  • 10
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Scrapy-实战
奔跑的豆子的专栏
04-07 1084
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。在之前的博文当中，简要介绍了Scrapy相关工具命令的介绍，以及Scrapy爬虫项目的基本结构。
scrapy爬虫项目.zip
04-26
scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word ...
Python爬虫 | 如何使用爬虫框架scrapy爬取分页数据案例演示
白帽阿叁的博客
10-06 2617
并爬取第1~5页数据中第2条。
零基础学习Python|Python高阶学习--Scrapy爬虫框架应用案例
软件开发实战项目分享
09-11 1373
本文主要在前次学习Python爬虫框架的基础上，设计两个案例来爬取豆瓣电影网站数据和新浪新闻数据，并将爬取的数据存储到Mysql数据表中。两个案例参考了CSDN两位博主开源的案例基础上进行改进使用，希望对大家学习爬虫框架Scrpay有所帮助。本次使用的Python3.8的版本，为避免有异常发生，请保持版本一致。如果需要两个案例的源码，请三连后文未咨询免费获取
（2024）豆瓣电影详情页内容爬虫详解和源码
No_Name_Cao_Ni_Mei的博客
06-21 929
这是一个Python爬虫程序，用于抓取豆瓣电影详情页面如的数据。它首先发送GET请求，使用PyQuery解析DOM，然后根据标签分割HTML内容，提取电影信息如导演、演员、类型等，并将中文键转换为英文键存储在字典中。完整代码包括请求、解析、数据处理和测试部分。当运行时，会打印出电影详情，如导演、演员列表、类型、时长等。
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
一定要站在自己热爱的生活里闪闪发光
04-16 3万+
1.环境 win10 PyCharm Python 3.6 2.scrapy 环境搭建 安装两个python模块：Twisted、scrapy。在cmd中安装会快捷一点。 安装Twisted： 执行 pip install twisted 安装scrapy：执行 pip installscrapy 【注】安装完成后，执行 pip list 检查以下上述两个模块是否安装成功。 ...
python之Scrapy爬虫案例：豆瓣
局外人LZ的博客
10-23 902
【代码】python之Scrapy爬虫案例：豆瓣。
Python-Scrapy 入门级爬虫项目实战
08-21
Python-Scrapy 入门级爬虫项目实战 糗事百科段子爬取
实战 | 如何利用 Scrapy 编写一个完整的爬虫！
AirPython的博客
11-21 1644
大家好，我是安果！提到爬虫框架，这里不得不提 Scrapy，它是一款非常强大的分布式异步爬虫框架，更加适用于企业级的爬虫！项目地址：https://github.com/scrapy/scrapy本篇文章将借助一个简单实例来聊聊使用 Scrapy 编写爬虫的完整流程1. 实战目标对象：aHR0cHMlM0EvL2dvLmNxbW1nby5jb20vZm9ydW0tMjMzLTEuaHRtbA==我...
2023scrapy教程，超详细（附案例）
weixin_53696212的博客
05-31 2294
scrapy教程
使用scrapy框架爬虫实战
qq_33267306的博客
04-27 6410
使用scrapy框架爬虫实战前言创建爬虫项目功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 Scrapy是一个爬虫框架，首先先进行安装scrapy，进入cmd，pip install scrapy。 创建爬虫项目 在cmd中
基于gevent的mini-scrapy爬虫框架.zip
04-08
`基于gevent的mini-scrapy爬虫框架`是一个使用Python语言开发的轻量级爬虫系统，它借鉴了Scrapy框架的架构，但利用了gevent库来实现异步I/O，提高了爬取效率。gevent是一个基于cooperative multitasking（协作式多...
scrapy爬虫项目代码.zip
最新发布
07-19
scrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码....
豆瓣scrapy爬虫.zip
01-19
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
Scrapy框架爬虫.rar_scrapy_爬虫
07-14
2. **定义Spider**：在`spiders`目录下创建Python类，继承自`scrapy.Spider`，并实现`start_urls`、`parse`等方法。 3. **配置Item**：定义数据模型，描述爬取的目标数据结构。 4. **编写Pipeline**：根据需求实现...
scrapy爬虫使用示例
快乐江小鱼的博客
06-06 1015
scrapy爬虫的几个使用示例
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
爬虫教程（ 2 ） --- scrapy 教程、实战
freeking101的博客
09-01 3075
scrapy 教程、实战
python爬虫基础小案例， scrapy框架，思路和经验你全都有。
m0_65833575的博客
04-26 1万+
目录 一、scrapy介绍 二、爬取步骤 三、代码 1、创建爬虫项目 scrapy startproject 项目名字 注意: 项目名字不能出现中文，也不能以数字开头。 2、创建爬虫文件 3.进入itmes.py 4.进入spiders 5.进入pipelines.py 四、运行scrapy 文件 一、scrapy介绍 简单介绍一下scrapy吧。 Scra...
scrapy爬虫项目实战豆瓣
03-29
豆瓣是一个非常流行的社交网站，它包含了电影、图书、音乐等各种文化娱乐信息。本文将介绍如何使用Scrapy爬虫框架，构建一个豆瓣电影爬虫，爬取豆瓣电影排行榜中的电影信息。 1. 创建Scrapy项目 首先，我们需要创建一个Scrapy项目。在命令行中执行以下命令： ``` scrapy startproject douban ``` 这将创建一个名为douban的Scrapy项目。项目结构如下： ``` douban/ scrapy.cfg douban/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py ``` 其中，scrapy.cfg是Scrapy的配置文件；douban文件夹是我们创建的项目名称，它包含了项目的配置、管道、中间件等设置；spiders文件夹是我们用来编写爬虫代码的地方。 2. 编写爬虫代码 在spiders文件夹中创建一个名为douban_spider.py的文件，编写如下代码： ```python import scrapy from douban.items import DoubanItem class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): item = DoubanItem() movies = response.css('.grid_view .item') for movie in movies: item['rank'] = movie.css('.pic em::text').get() item['title'] = movie.css('.title a::text').get() item['rating'] = movie.css('.rating_num::text').get() item['quote'] = movie.css('.inq::text').get() yield item next_page = response.css('.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 上述代码中，我们定义了一个名为DoubanSpider的爬虫类，继承自Scrapy的Spider类。我们设置了爬虫的名称、待爬取的域名和起始URL。在parse函数中，我们使用CSS选择器提取电影信息，并使用yield关键字将结果返回。同时，我们还提取了下一页的URL，并使用response.follow方法跟进到下一页。 在douban文件夹中创建一个名为items.py的文件，定义数据项： ```python import scrapy class DoubanItem(scrapy.Item): rank = scrapy.Field() title = scrapy.Field() rating = scrapy.Field() quote = scrapy.Field() ``` 3. 配置管道 在douban文件夹中的settings.py文件中，我们需要配置管道，以便将爬取的数据保存到本地文件中。 ```python ITEM_PIPELINES = { 'douban.pipelines.DoubanPipeline': 300, } FEED_FORMAT = 'json' FEED_URI = 'result.json' ``` 上述配置将数据保存为JSON格式，保存路径为result.json文件。 在douban文件夹中创建一个名为pipelines.py的文件，定义管道实现： ```python import json class DoubanPipeline(object): def __init__(self): self.file = open('result.json', 'w', encoding='utf-8') def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + '\n' self.file.write(line) return item def close_spider(self, spider): self.file.close() ``` 上述代码实现了数据的保存功能，将数据保存为JSON格式文件。 4. 运行爬虫 在命令行中，进入douban项目的根目录，执行以下命令即可启动爬虫： ``` scrapy crawl douban ``` 爬虫会自动从豆瓣电影排行榜网页中爬取电影信息，并将结果保存到本地文件中。可以通过修改settings.py文件中的FEED_URI配置来改变保存路径。 5. 结果展示 爬虫执行完毕后，我们可以打开result.json文件查看数据结果。例如，下面是rank为1的电影信息： ```json {"rank": "1", "title": "\u8096\u7533\u514b\u7684\u6551\u8d4e", "rating": "9.7", "quote": "\u4eba\u751f\u82e6\u77ed\uff0c\u4f60\u5fc5\u987b\u559c\u6b22\u5b83\uff0c\u8fd9\u5c31\u662f\u5b83\u7684\u7f8e\u4e3d\u3002"} ``` 我们可以看到，爬虫成功地爬取了电影排行榜中的电影信息，并将结果保存到本地文件中。 6. 总结 本文介绍了如何使用Scrapy爬虫框架，构建一个豆瓣电影爬虫，爬取豆瓣电影排行榜中的电影信息。我们首先创建了一个Scrapy项目，然后编写了爬虫代码，使用CSS选择器提取电影信息，并使用管道将结果保存到本地文件中。最后，我们运行了爬虫，并查看了结果。这个例子展示了Scrapy框架的基本使用方法，希望对初学者有所帮助。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

发现你走远了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值