python Scrapy2古诗爬取

最新推荐文章于 2022-12-23 21:57:59 发布
最新推荐文章于 2022-12-23 21:57:59 发布
阅读量289 收藏 5
点赞数
分类专栏： python爬虫笔记 python报错信息搜集 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/enginebrkalsy/article/details/117479099
版权
本文详细介绍了如何使用Python Scrapy2框架爬取古诗，包括设置配置、页面分析、数据封装、pipeline处理、翻页逻辑以及处理需要点击全文才能获取的诗词内容。在处理过程中，通过调整设置和正则表达式，成功解决了中文识别和全文内容获取的问题。
摘要由CSDN通过智能技术生成

python Scrapy2古诗爬取

在这里插入图片描述
在这里插入图片描述

setting配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

页面分析

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据分析

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实现步骤

在这里插入图片描述

在start文件运行

在这里插入图片描述

结果：

在这里插入图片描述

获取内容

在这里插入图片描述
在这里插入图片描述

解决方法：’’.join().strip(),strip是把列表转为字符串，’‘是把不同诗句换成’'连接

最低0.47元/天 解锁文章
brkalsy
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Scrapy入门：爬取古诗文
12-21
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套完整的解决方案，简化了网页抓取、数据解析和数据存储的过程。Scrapy的核心组件包括Scrapy Engine（引擎）、Spider（爬虫）、Scheduler（调度器）、...
Python爬虫（一）——爬取古诗文网，初识什么是爬虫
geeknuo的博客
12-09 4299
首先来说下什么是爬虫，按照百度百科的说法是：是一种按照一定规则，自动抓取万维网信息的程序或者脚本；首先它是程序，需要我们定义好规则，然后程序就会按照定义好的规则抓取网络上的信息，数据抓取下来了之后，需要我们对这个庞大的数据进行筛选、提取，也就是我们通常说的数据清洗，获得我们需要的信息。这里需要说的一点是，爬虫并不是python的专利，用其他的语言也是可以做到的，只是因为python提供了很多方便我...
轻松带你掌握Scrapy框架（以爬取古诗文网为例）
fnaleml的博客
12-13 1171
写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。 安装Scrapy框架 pip install scrapy。 可能会出现问题： 在ubuntu下要先使用以下命令安装依赖包：sudo apt-get ins
python爬虫（二十一）scrapy案例--爬取古诗文网
hwwaizs的博客
09-20 4129
爬取古诗文网 需求 爬取网页中诗词的数据，爬取每首诗的名字、作者、朝代和诗词的内容 页面分析 爬取页面的诗词，复制任意诗词的内容，在网页源码中可以找到，说明网页是静态加载出来的，说明显示的url就是爬取的目标，可以直接用url获取数据。目标url：https://www.gushiwen.cn/。 任意选择一首诗词的标题，点右键检查，会发现标题的内容存放在p标签下的a标签内。 标签折叠到p标签内，可以看到第一个p标签里存放的是诗词的标题，第二个p标签存放的是作者和朝代，下面的div标签里存放的是诗词的内容
python古诗代码案例_python第三方库re库实例之爬取古诗词网上诗歌
weixin_39541693的博客
11-26 503
# 使用正则表达式解析网页元素# 关键点:直接找每个个体里面相同位置的元素，用findall一次提取出来到列表中import requestsimport reDATA = []def getHTMLtext(url,headers,timeout=10):try :resp = requests.get(url,headers=headers,timeout=timeout)resp.raise...
Python-Scrapy练习项目利用Scrapy抓取古诗
08-10
在本项目中，我们将深入探讨如何使用Python的Scrapy框架来抓取古诗数据，包括唐诗和宋词，最终将这些数据存储为JSON格式。Scrapy是一个强大的、专为爬取网站并提取结构化数据而设计的工具，非常适合进行大规模的数据...
scrapy爬取古诗文网.zip
10-13
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于爬取网站并提取结构化数据。在这个"scrapy爬取古诗文网.zip"压缩包中，包含了一个名为"ancient-poetry-crawler-master"的项目，我们...
Python使用Scrapy保存控制台信息到文本解析
12-25
在Windows平台下，如果想运行爬虫的话，就需要在cmd中输入： scrapy crawl spider_name 这时，爬虫就能启动，并在控制台（cmd）中打印一些...以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容，
Python爬虫合集1
02-10
爬取电影天堂最新的电影数据 - xpath 爬取腾讯招聘的职位数据 - xpath 爬取中国天气网全国天气并生成饼状图 - bs4 爬取古诗词网的数据 - re 爬取糗事百科上的段子数据 - re ...使用 Python 定位到女朋友的位置
通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首
09-09
通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首
python爬虫古诗词
06-18
python爬虫古诗文网站
使用 Python3 获取网页源代码
u014695938的博客
12-23 8483
爬虫的数据爬取量非常大，显然不可能对每个页面都手动复制源代码，因此就有必要使用自动化的方式来获取网页源代码。
python爬虫入门_3种方法爬取古诗文网站
purvispanwu的博客
06-19 4837
的机房ID撒发快递刷卡结构化大两居复健科古法
使用PyCharm编写Scrapy爬虫程序，爬取古诗词网站
欢迎来到我的小家
11-25 7365
有两种执行Scrapy爬虫的方法，第一种是在Terminal窗口中输入命令“scrapy crawl poemSpider”，然后回车运行，等待几秒钟后即可完成数据的爬取。在Terminal窗口输入命令“cd poemScrapy”，进入对应的爬虫工程中，再输入命令“scrapy genspider poemSpider gushiwen.cn”，这时，在spiders目录下会出现一个新的Python文件poemSpider.py，该文件就是我们要编写爬虫程序的位置。同级目录下生成的data.txt文件。
爬虫笔记25：piplines文件的使用、简单案例：scrapy爬取古诗文网站（scrapy中的常用翻页方法）、
微信公众号进阶的阿牛哥的博客
06-19 589
一、piplines文件的使用 1、 开启管道 在settings.py文件中取消以下注释： ITEM_PIPELINES = { ‘mySpider.pipelines.MyspiderPipeline’: 300, } ​ 2 、回到爬虫文件当中，把数据yield 给管道。 为什么是yield的原因： 不会浪费内存 翻页的逻辑 scrapy.Requst(url,callback,…) 通过yield来返回 ...
scrapy框架爬取古诗文网的名句
weixin_39218107的博客
09-11 826
使用scrapy框架爬取名句，在这里只爬取的了名句和出处两个字段。具体解析如下： items.py 用来存放爬虫爬取下来的数据模型，代码如下： import scrapy class QsbkItem(scrapy.Item): content = scrapy.Field() auth = scrapy.Field() piplines.py 将items的模型存储到json...
Python scrapy爬取古诗文网，数据存入mongo
qq_46659912的博客
11-13 394
一、在items.py文件中定义数据结构 title: 诗词的标题 writer： 诗词的作者 dynasty：诗词编写的朝代 content: 诗词的正文 content_url： 正文链接 二、shici.py分析爬取内容 三、settings.py配置相关内容 四、pipelines.py中写入mongo 1、items.py文件 # Define here the models for your scraped items # # See documentation in: # https://do
python scrapy-redis爬取豆瓣电影top250
最新发布
05-26
很好，下面是一个使用 Scrapy-Redis 爬取豆瓣电影 Top250 的示例： 1. 安装 Scrapy-Redis ``` pip install scrapy-redis ``` 2. 配置 Redis 在 `settings.py` 中添加以下内容： ```python # 开启调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 启用增量式爬取 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 配置 Redis REDIS_URL = 'redis://127.0.0.1:6379' ``` 3. 编写 Spider ```python # -*- coding: utf-8 -*- import scrapy from scrapy_redis.spiders import RedisSpider class DoubanTop250Spider(RedisSpider): name = 'douban_top250' allowed_domains = ['douban.com'] redis_key = 'douban_top250:start_urls' def parse(self, response): # 解析页面，获取电影信息 items = response.xpath('//div[@class="info"]') for item in items: title = item.xpath('div[@class="hd"]/a/span[@class="title"]/text()').extract_first() score = item.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first() yield {'title': title, 'score': score} # 获取下一页 URL，加入 Redis 队列 next_url = response.xpath('//span[@class="next"]/a/@href') if next_url: self.server.lpush(self.redis_key, next_url.extract_first()) ``` 4. 启动 Redis 和 Spider 在终端中启动 Redis： ``` redis-server ``` 在项目目录下启动 Spider： ``` scrapy crawl douban_top250 ``` 以上就是使用 Scrapy-Redis 爬取豆瓣电影 Top250 的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值