Python爬虫爬取古诗文网站项目分享

最新推荐文章于 2024-08-09 07:53:17 发布
最新推荐文章于 2024-08-09 07:53:17 发布
阅读量7.6k 收藏 20
点赞数 9
分类专栏： Python 文章标签： python 爬虫 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q_QTowerQ_Q/article/details/78374509
版权

作为一个靠python自学入门的菜鸟，想和大家分享自己写的第一个也是目前为止唯一一个爬虫代码


写爬虫要具备的能力基础：python入门基础，html5基础知识，然后这边用的是scrapy框架，所以还要需要学习scrapy。其实beautifulSoup也可以，我也是先学习了beautifulsoup写了一点之后发现scrapy更方便简单，于是又学习用scrapy


附链接：
python基础教程（廖雪峰老师的）：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

爬虫基础（崔庆才老师的）：http://cuiqingcai.com/1052.html

scrapy框架：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

Html5（菜鸟教程）：http://www.runoob.com/html/html-tutorial.html


先附一张别人的构思图片，我就是看到这个才有思路的。再这边感谢那个

最低0.47元/天 解锁文章
三山绕四水
关注
专栏目录
Python爬虫实战（3）古诗文网
Zlzzz的博客
12-03 2451
Python爬虫实战（3）古诗文网网页分析代码注意事项输出结果 利用BeautifulSoup和和requests库实现古诗文网的古诗抓取 运行平台： Windows Python版本： Python 3.8 IDE： Pycharm 抓取古诗文网的古诗和标题 网页分析 古诗文网https://www.gushiwen.org/default_1.aspx     &...
爬虫之爬取古诗文网站
l_u_h_a_i的博客
06-21 1043
import pandas as pd import urllib.parse import urllib.request from lxml import etree import requests import re import time import os import random def get_zhushi_info(url): #urls='https://so.gu...
Python爬虫——爬取古诗文网
逐梦人.的博客
04-10 1707
运用正则表达式极简代码爬取古诗信息（主要是练习正则表达式，很多后续的功并没有实现） 我们先看一下结果：注:只是截取了一部分结果 我们直接上代码： import re import requests def parse_url(url): headers={'User-Agent': '此处需要替换成你本机的' } reponse = requests.get(url, headers= headers) text = reponse.text # print(
中华诗词网站项目教程
最新发布
gitblog_00858的博客
08-09 407
中华诗词网站项目教程 shici中华诗词网站 www.shi-ci.com 诗词文件及源码项目地址:https://gitcode.com/gh_mirrors/sh/shici 项目介绍 中华诗词网站（www.shi-ci.com）是一个展示中华诗词文化的开源项目，由GitHub用户michaelliao开发并维护。该项目不仅提供了丰富的诗词文件，还包括了网站的源码，使得开发者可以自由地学习、...
古诗文网站之网络爬虫
qq_42281053的博客
06-15 2461
1. 下面是古诗文网站的网络爬虫代码# encoding:utf-8 import requests import re import json def parse_page(url): # 1.请求网站 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit...
python3爬虫 -----爬取古诗文-------from古诗文网站
weixin_30385925的博客
10-19 446
1 # -*- coding: utf-8 -*- 2 #author:zxy 3 #Date:2018-10-19 4 5 6 import requests 7 import re 8 HEADERS={ 9 "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/5...
使用PyCharm编写Scrapy爬虫程序，爬取古诗词网站
欢迎来到我的小家
11-25 7804
有两种执行Scrapy爬虫的方法，第一种是在Terminal窗口中输入命令“scrapy crawl poemSpider”，然后回车运行，等待几秒钟后即可完成数据的爬取。在Terminal窗口输入命令“cd poemScrapy”，进入对应的爬虫工程中，再输入命令“scrapy genspider poemSpider gushiwen.cn”，这时，在spiders目录下会出现一个新的Python文件poemSpider.py，该文件就是我们要编写爬虫程序的位置。同级目录下生成的data.txt文件。
python爬虫爬古诗文网的数据
12-28
Python爬虫是一种自动化获取网页数据的技术，它可以用于爬取网站上的文本、图片、视频等内容。在爬取古诗文网的数据时，我们可以使用Python的requests库来发送HTTP请求，获取网页内容；使用BeautifulSoup库来解析...
python爬虫爬取古诗文
04-29
Python 爬虫可以通过网络爬取古诗文网站上的古诗文，一般情况下可以使用 requests 库获取网页 HTML 内容，再使用 BeautifulSoup 或者其他的解析库提取所需内容。具体步骤如下： 1. 寻找适合爬取的古诗文网站，可以...
python爬虫（二十一）scrapy案例--爬取古诗文网
hwwaizs的博客
09-20 4337
爬取古诗文网 需求 爬取网页中诗词的数据，爬取每首诗的名字、作者、朝代和诗词的内容 页面分析 爬取页面的诗词，复制任意诗词的内容，在网页源码中可以找到，说明网页是静态加载出来的，说明显示的url就是爬取的目标，可以直接用url获取数据。目标url：https://www.gushiwen.cn/。 任意选择一首诗词的标题，点右键检查，会发现标题的内容存放在p标签下的a标签内。 标签折叠到p标签内，可以看到第一个p标签里存放的是诗词的标题，第二个p标签存放的是作者和朝代，下面的div标签里存放的是诗词的内容
python 爬取古诗文存入mysql数据库的方法
09-18
在介绍如何使用Python爬取古诗文并将数据存储到MySQL数据库中之前，首先需要理解一些基础知识点。Python是一种高级编程语言，具有易于学习和使用的特性，它在数据处理、网络爬虫和自动化脚本等领域有广泛的应用。...
爬虫学习笔记：爬取古诗文网
12-21
1、目标网站 目标网站：https://so.gushiwen.org/shiwen/default.aspx?   2、爬虫目的 爬取目标网站的文本，如古诗的内容，作者，朝代，并且保存到本地中。  3、爬虫程序 # -*- coding:utf-8 -*- #爬取古诗网站 import requests import re #下载数据 def write_data(data): with open('诗词.txt','a')as f: f.write(data) for i in range(1,10): #目标url地址 url = "htt
python项目之古诗文网
前景
01-20 805
古诗文网页数据爬取——绕过登录，处理动态验证码问题
爬取古诗文网站 - scarpy - python爬虫案例
weixin_43761516的博客
06-05 804
爬取古诗文网站 - scarpy - python爬虫案例 需求: 爬取古诗文网站中的 诗词的 标题 作者 朝代 内容 以及翻页 并保存 第一步 页面分析 ‘gushiwen.org’ ‘gushiwen.cn’ https://www.gushiwen.cn/default.aspx?page=2 第二页 (无视了) ​ https://www.gushiwen.org/default_1.aspx 第一页 https://www.gushiwen.cn/default_2.aspx 第二页 ht
python Scrapy项目 之 古诗文网案例呈现
侯小啾技术博客
05-20 2417
python Scrapy项目 之 古诗文网案例呈现 通过python,Scrapy框架，爬取古诗文网上的诗词数据，具体包括诗词的标题信息，作者，朝代，诗词内容，及译文。爬取过程需要逐页爬取，共4页。
Python爬虫学习笔记_DAY_27_Python爬虫之requests库实战_绕过古诗文网登录页面及验证码的破解方法【Python爬虫】
跳探戈的小龙虾的博客
02-16 2545
p.s.高产量博主，点个关注????不迷路！ 目录 I.实战需求确定 II.抓取古诗文网登录接口 III.难点分析 IV.隐藏域的解决方法 V.验证码的破解办法： V.I 手动输入 V.II 图像识别 V.III 打码平台：超级鹰打码 VI.完整源码 I.实战需求确定 本次实战主要的目的是复习requests库的基本语法，同时介绍一些新的内容：登录接口的抓取方式、session的使用、隐藏域问题的解决、验证码的破解方法等。 需求是这样的：首先，我们可以打开古诗文网： 接线来点
Python爬取古诗词
weixin_43520450的博客
10-08 4513
一、需求 爬取网址：https://www.gushiwen.org/ 需求： （1）获取侧边栏【类型】信息； （2）获取每个类型中古诗文详情页信息； （3）提取详情页数据：古诗文名、作者、朝代、类型、内容、译文及注释； （4）将数据保存到 csv 文件； 二、代码实现 import requests import csv from lxml import etree start_url = "https://so.gushiwen.cn/shiwen/" base_url = "https://so
第一个简单Python爬虫：抓取古诗文网中李白的诗歌
Dance_Jacky的博客
10-11 5649
2018年10月11日  这是第一个博客，嘻嘻~~~~ 最近老师给了个任务：爬取诗歌。于是乎，走上了爬虫道路，爬取了李白的诗歌。 感谢代码的原作者（唐诗三百首，源代码）。 遇到的问题与收获： 1.熟悉了正则表达式在HTML中的匹配规则，能够编写出相应的正则表达式 2.不能利用正则表达式返回同一页面多个相同标签的内容 附上代码 # -*- coding:utf-8 -*- impor...
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值