python项目之古诗文网

置顶

Begin to change

已于 2022-01-20 19:02:51 修改

阅读量747

点赞数 1

分类专栏：爬虫分享 # 爬虫文章标签：爬虫 python 数据挖掘

于 2022-01-20 17:22:51 首次发布

本文链接：https://blog.csdn.net/qq_41404557/article/details/122605227

版权

一、学习资源

二、分析

1、先找登录口，也就是什么情况下允许登录。

一、学习资源

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）_哔哩哔哩_bilibili

二、分析

1、先找登录口，也就是什么情况下允许登录。

首先打开古诗文网站的官网，先检查网页（F12或者右键点击检查）然后登录，此时输入错误的密码（切记），不是要真正的登录进去，而是为了找登陆口。通过找登陆接口（login）发现，登录的时候需要的参数有很多。#观察到 __VIEWSTATE， __VIEWSTATEGENERATOR ，code 三个是一个可以变化的量。

2、打开网页源码找参数

观察到这两个数据在页面的源码中  所以我们需要获取页面的源码  然后进行解析就可以获取了

3、获取图片验证码<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Begin to change

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
python项目之古诗文网

古诗文网页数据爬取——绕过登录，处理动态验证码问题
复制链接

扫一扫

专栏目录

爬虫学习笔记：爬取古诗文网

12-21

在本篇【爬虫学习笔记：爬取古诗文网】中，我们探讨了一种针对古诗文网站的网络爬虫实现，目的是抓取古诗的内容、作者和朝代，并将这些信息保存到本地文件中。以下是具体的技术点和过程详解： 1. **目标网站**： ...

古诗词网站源码，带手机端+整站模板和源码打包,流量站「必备」

02-18

新开发古诗词文网站源码是由织梦二次开发仿shici365古诗词整站源码打包，收录华夏古文学各朝代的典籍，包含古诗词，名言名句，诗人介绍，古书古籍，历史介绍，成语介绍等，搭建起来就可以运营了,带手机端。由于源码850M，只能放入网盘，这个是网盘地址和密码。安装教程： 1.数据库文件在根目录下面，解压后可以直接使用备注：在网站上线前，先使用批量修改工具（如notepad）修改：“abc.com”替换为“你的域名（不带www）”。 2.配置文件 Huanabcd\common.php 3.域名解析及建站注意：由于文字限制，打包下载之后里面有详细的安装教程，整站模板已经优化好了，带基础数据。

参与评论您还未登录，请先登录后发表或查看评论

python爬虫模拟登录古诗文网站

热爱滑板的代码男

07-21

1191

爬取目标网站https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx?type=s 工具：超级鹰思路： 1.验证码的识别，获取验证码图片的数字 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储超级鹰的基本使用在网站中注册登陆后，点击用户中心选择立即充值，简单测试玩一玩的话，充值个一块两块就足够了然后来到开发文档，选择python 点击此处下载实..

python requests模拟浏览器_使用python+requests+pytesseract模拟登录校园网

weixin_39922361的博客

12-05

298

之前就想做这件事，今天下午校园网到期了，突然就想写一个关于模拟登录校园网的爬虫，通过python模拟浏览器登录，通过遍历账号可以…在本次爬虫的过程中，也不算特别容易吧，废话不多说，使用到的模块有:requests 发起网页请求re正则提取网页信息PIL+pytesseract 对验证码进行识别以下试试本次爬虫的过程(以我们学校的校园网为例)以及回顾目录一.实例步骤1.查看模拟登录的网页的源码，并...

java计算机毕业设计springboot+vue中国古诗词网站(源码+系统+mysql数据库+Lw文档）

QQ1039692211的博客

09-16

1102

信息技术的发展带来了大量的数据内容，在这些数据中，想要找到自己需要的只有通过搜索引擎。如今，通过百度去查找信息成为大众的首选，然而在经济利益的驱动下，许多百度来的信息都是商业内容，很难找到真实有用的实际信息。在中国古诗词学习中，可以弘扬古诗词传统文化，增加个人的修为。因此，本文研究的中国古诗词网站，在本网站中，用户可以主动的发布古诗词咨询问题信息，获取别人对该古诗词问题的解答和讨论，从而获取想要的结果，提高了获取信息的手段和效率，同时加强了用户之间的相互交流沟通，促进了古诗词信息化的发展。

springboot 古诗文学习系统【纯干货分享，附源码91747】

QQ_785101605的博客

07-14

992

1、关于古诗文学习系统的基本要求（1）功能要求：可以管理首页、网站管理（轮播图、公告信息）、人员管理（管理员、系统用户）、内容管理（交流论坛、论坛分类、新闻资讯、新闻分类、诗词答题）、模块管理（类型管理、诗词信息）、个人管理（个人信息、修改密码）等功能模块。（2）性能：在不同操作系统上均能无差错实现在不同类型的用户登入相应界面后能不出差错、方便地进行预期操作。（3）安全与保密要求：用户都必须通过身份验证才能进入系统，并且用户的权限也需要根据用户的类型进行限定。

scrapy爬取古诗文网.zip

10-13

在这个"scrapy爬取古诗文网.zip"压缩包中，包含了一个名为"ancient-poetry-crawler-master"的项目，我们可以推测这是一个使用Scrapy构建的爬虫项目，目标是抓取古诗文网站上的内容，如诗词、作者信息等。首先，让...

gsww.zip|古诗文网爬取代码

10-07

【标题】"gsww.zip|古诗文网爬取代码" 涉及的主要知识点是爬虫技术，特别是使用Python的Scrapy框架进行网页数据抓取。Scrapy是一个强大的、高效的爬虫框架，用于构建可扩展的数据抓取项目。在这个案例中，作者使用...

Python + Qt 5编写的自动爬虫工具,可以用作古诗文网的在线客户端(gushiwen.org)

09-12

本项目即是一个实例——"Python + Qt 5编写的自动爬虫工具"，专门针对古诗文网（gushiwen.org）进行数据获取，实现在线客户端的功能。首先，这个工具的核心在于Python的爬虫技术。利用requests库，我们能够发送...

python 爬取古诗文存入mysql数据库的方法

09-18

主要介绍了python 爬取古诗文存入mysql数据库的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下

Scrapy入门：爬取古诗文

12-21

Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套完整的解决方案，简化了网页抓取、数据解析和...通过熟练掌握Scrapy框架，你可以轻松应对各种网页抓取任务，例如在本例中爬取古诗文网站，获取丰富的文学资源。

使用PyCharm编写Scrapy爬虫程序，爬取古诗词网站

欢迎来到我的小家

11-25

7371

有两种执行Scrapy爬虫的方法，第一种是在Terminal窗口中输入命令“scrapy crawl poemSpider”，然后回车运行，等待几秒钟后即可完成数据的爬取。在Terminal窗口输入命令“cd poemScrapy”，进入对应的爬虫工程中，再输入命令“scrapy genspider poemSpider gushiwen.cn”，这时，在spiders目录下会出现一个新的Python文件poemSpider.py，该文件就是我们要编写爬虫程序的位置。同级目录下生成的data.txt文件。

Python爬虫实战(基础篇)—4获取古诗词给孩子学习(附完整代码)

weixin_42636075的博客

07-27

1648

python爬虫爬虫获取古诗词 python爬虫获取数据 python爬虫获取古诗词搞定：

【python】python抓取古诗文内容保存（源码）【独一无二】

测试开发自动化

04-14

1173

👉博__主👈：米码收割机👉技__能👈：C++/Python语言👉公众号👈：测试开发自动化【获取源码+商业合作】👉荣__誉👈：阿里云博客专家博主、51CTO技术博主👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。

B站路飞学城古诗文网模拟登录源码

root_shaw_root的博客

05-26

392

人人网改版，云打码也用不了了，所以用古诗文网+超级鹰模拟登录练习，放源码，供一起学习的小伙伴参考： import requests from lxml import etree from chaojiying_Python.chaojiying import Chaojiying_Client headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like

python Scrapy项目之 古诗文网案例呈现

侯小啾技术博客

05-20

2364

python Scrapy项目之 古诗文网案例呈现通过python,Scrapy框架，爬取古诗文网上的诗词数据，具体包括诗词的标题信息，作者，朝代，诗词内容，及译文。爬取过程需要逐页爬取，共4页。

Python爬虫学习笔记_DAY_27_Python爬虫之requests库实战_绕过古诗文网登录页面及验证码的破解方法【Python爬虫】

跳探戈的小龙虾的博客

02-16

2313

p.s.高产量博主，点个关注????不迷路！目录 I.实战需求确定 II.抓取古诗文网登录接口 III.难点分析 IV.隐藏域的解决方法 V.验证码的破解办法： V.I 手动输入 V.II 图像识别 V.III 打码平台：超级鹰打码 VI.完整源码 I.实战需求确定本次实战主要的目的是复习requests库的基本语法，同时介绍一些新的内容：登录接口的抓取方式、session的使用、隐藏域问题的解决、验证码的破解方法等。需求是这样的：首先，我们可以打开古诗文网：接线来点

Python爬虫——爬取古诗词

奔跑的狮子

06-24

3857

🌸当你喜欢哪个诗人，想获取他的全部诗词数据的时候，可以通过爬虫来解决这个问题，用爬虫把诗词全部爬下来，然后存到txt文档中，打印出来背诵，岂不美哉。 🐟我们要爬取这个诗人的全部诗词和他的个人简介🐽先在该页面中获取诗人信息，但是该页面难以获取全部诗词内容，那么在该页面中先获取到诗词详细的，根据诗词详情页的再继续深一层爬取详情页信息，进而获取诗词内容代码如下（示例）：结果 🐡下面是程序运行的输出🐂下面是我们保存到txt文件的内容爬虫的基本步骤： 1.检查有没有反爬，设置常规反反爬，和都是最常见的反...

python爬虫爬取古诗文