红楼梦小说爬取-范例

最新推荐文章于 2022-11-01 21:34:38 发布
最新推荐文章于 2022-11-01 21:34:38 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： #python课堂作业 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43284192/article/details/109460240
版权

Python-爬取红楼梦

爬取小说

目标网站https://www.ddshu.net


我们观察红楼梦后方的数字，代号为148，然后点击前十篇进行逻辑推理

  1. 第一章——第五章（781449—781453.html） 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  2. 但是观察到**第六章(782003)时发现断层
    在这里插入图片描述
    继续观察发现到最后一章    第120章(782117)**时正好连续接上
    在这里插入图片描述

  3. 所以我们这边从第六章开始爬取

爬取代码

url_base='https://www.ddshu.net/148_'
for i in range(114): #120回章节120条网址
    print(url_base+str(i+782003)+'.html')
    url_1='https://www.ddshu.net/148_782003.html'
   ##导出所有循环的url网址块
##输出：
> https://www.ddshu.net/148_782003.html
> https://www.ddshu.net/148_782004.html
> https://www.ddshu.net/148_782005.html
> https://www.ddshu.net/148_782006.html
> https://www.ddshu.net/148_782007.html
> https://www.ddshu.net/148_782008.html
> https://www.ddshu.net/148_782009.html
> https://www.ddshu.net/148_782010.html
> https://www.ddshu.net/148_782011.html
> https://www.ddshu.net/148_782012.html
> https://www.ddshu.net/148_782013.html
> https://www.ddshu.net/148_782014.html
> https://www.ddshu.net/148_782015.html
> https://www.ddshu.net/148_782016.html
> https://www.ddshu.net/148_782017.html
> https://www.ddshu.net/148_782018.html
> https://www.ddshu.net/148_782019.html
> https://www.ddshu.net/148_782020.html
> https://www.ddshu.net/148_782021.html
> https://www.ddshu.net/148_782022.html
> https://www.ddshu.net/148_782023.html
> https://www.ddshu.net/148_782024.html
> https://www.ddshu.net/148_782025.html
> https://www.ddshu.net/148_782026.html
> https://www.ddshu.net/148_782027.html
> https://www.ddshu.net/148_782028.html
> https://www.ddshu.net/148_782029.html
> https://www.ddshu.net/148_782030.html
> https://www.ddshu.net/148_782031.html
> https://www.ddshu.net/148_782032.html
> https://www.ddshu.net/148_782033.html
> https://www.ddshu.net/148_782034.html
> https://www.ddshu.net/148_782035.html
> https://www.ddshu.net/148_782036.html
> https://www.ddshu.net/148_782037.html
> https://www.ddshu.net/148_782038.html
> https://www.ddshu.net/148_782039.html
> https://www.ddshu.net/148_782040.html
> https://www.ddshu.net/148_782041.html
> https://www.ddshu.net/148_782042.html
> https://www.ddshu.net/148_782043.html
> https://www.ddshu.net/148_782044.html
> https://www.ddshu.net/148_782045.html
> https://www.ddshu.net/148_782046.html
> https://www.ddshu.net/148_782047.html
> https://www.ddshu.net/148_782048.html
> https://www.ddshu.net/148_782049.html
> https://www.ddshu.net/148_782050.html
> https://www.ddshu.net/148_782051.html
> https://www.ddshu.net/148_782052.html
> https://www.ddshu.net/148_782053.html
> https://www.ddshu.net/148_782054.html
> https://www.ddshu.net/148_782055.html
> https://www.ddshu.net/148_782056.html
> https://www.ddshu.net/148_782057.html
> https://www.ddshu.net/148_782058.html
> https://www.ddshu.net/148_782059.html
> https://www.ddshu.net/148_782060.html
> https://www.ddshu.net/148_782061.html
> https://www.ddshu.net/148_782062.html
> https://www.ddshu.net/148_782063.html
> https://www.ddshu.net/148_782064.html
> https://www.ddshu.net/148_782065.html
> https://www.ddshu.net/148_782066.html
> https://www.ddshu.net/148_782067.html
> https://www.ddshu.net/148_782068.html
> https://www.ddshu.net/148_782069.html
> https://www.ddshu.net/148_782070.html
> https://www.ddshu.net/148_782071.html
> https://www.ddshu.net/148_782072.html
> https://www.ddshu.net/148_782073.html
> https://www.ddshu.net/148_782074.html
> https://www.ddshu.net/148_782075.html
> https://www.ddshu.net/148_782076.html
> https://www.ddshu.net/148_782077.html
> https://www.ddshu.net/148_782078.html
> https://www.ddshu.net/148_782079.html
> https://www.ddshu.net/148_782080.html
> https://www.ddshu.net/148_782081.html
> https://www.ddshu.net/148_782082.html
> https://www.ddshu.net/148_782083.html
> https://www.ddshu.net/148_782084.html
> https://www.ddshu.net/148_782085.html
> https://www.ddshu.net/148_782086.html
> https://www.ddshu.net/148_782087.html
> https://www.ddshu.net/148_782088.html
> https://www.ddshu.net/148_782089.html
> https://www.ddshu.net/148_782090.html
> https://www.ddshu.net/148_782091.html
> https://www.ddshu.net/148_782092.html
> https://www.ddshu.net/148_782093.html
> https://www.ddshu.net/148_782094.html
> https://www.ddshu.net/148_782095.html
> https://www.ddshu.net/148_782096.html
> https://www.ddshu.net/148_782097.html
> https://www.ddshu.net/148_782098.html
> https://www.ddshu.net/148_782099.html
> https://www.ddshu.net/148_782100.html
> https://www.ddshu.net/148_782101.html
> https://www.ddshu.net/148_782102.html
> https://www.ddshu.net/148_782103.html
> https://www.ddshu.net/148_782104.html
> https://www.ddshu.net/148_782105.html
> https://www.ddshu.net/148_782106.html
> https://www.ddshu.net/148_782107.html
> https://www.ddshu.net/148_782108.html
> https://www.ddshu.net/148_782109.html
> https://www.ddshu.net/148_782110.html
> https://www.ddshu.net/148_782111.html
> https://www.ddshu.net/148_782112.html
> https://www.ddshu.net/148_782113.html
> https://www.ddshu.net/148_782114.html
> https://www.ddshu.net/148_782115.html
> https://www.ddshu.net/148_782116.html

输出后可以点击网址检查url的循环是否正确
##
import requests ##import requests库

req=requests.get(url_1)
req.status_code##检查是否允许爬取
#输出：200

req.encoding=req.apparent_encoding
##encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文。apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。

req.text##检查导出

html=req.text

from bs4 import BeautifulSoup##impot soup库

soup=BeautifulSoup(html,'html.parser')
##soup = Beautiful(xxx,‘html.parser’,xxx)是指定Beautiful的解析器为“html.parser”还有BeautifulSoup(markup,“lxml”)BeautifulSoup(markup, “lxml-xml”) BeautifulSoup(markup,“xml”)等等很多种

在这里插入图片描述
我们输出中观察html，发现小说text内容被包含在div id="content"块中，需要把他提取出来。

soup.find_all('div',id='content')

len(soup.find_all('div',id='content'))
##确定长度
type(soup.find_all('div',id='content'))

content=(soup.find_all('div',id='content'))

到这里我们已经可以综合上方，写出爬取代码块

import requests
from bs4 import BeautifulSoup

url_1='https://www.ddshu.net/148_782003.html'
req=requests.get(url_1)
req.status_code
req.encoding=req.apparent_encoding
req.text
html=req.text

soup=BeautifulSoup(html,'html.parser')
print(soup.find_all('div',id='content')[0].text.replace('\n',''))

输出第六章到第一百二十章所有文本

下面是每一章的爬起顺便跟上网址，正好区分开

for i in range(114): #120回章节120条网址
    print(url_base+str(i+782003)+'.html')
    req=requests.get(url_1)
    req.status_code
    req.encoding=req.apparent_encoding
    req.text
    html=req.text
    
    soup=BeautifulSoup(html,'html.parser')
    print(soup.find_all('div',id='content')[0].text.replace('\n',''))

下面是几章基础知识的补充
[1]: https://blog.csdn.net/weixin_41665477/article/details/100567659
[2]: https://blog.csdn.net/weixin_41665477/article/details/100621838
[3]: https://blog.csdn.net/weixin_41665477/article/details/100624454
[4]: https://blog.csdn.net/weixin_41665477/article/details/100639756
[5]: https://blog.csdn.net/weixin_41665477/article/details/102019667

有点emo的Neo
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬取下载红楼梦微改版.py
08-07
自己写的代码，没有任何问题
Python爬虫从入门到精通:（7）数据解析3_使用bs4爬取《红楼梦》小说_Python涛哥
tao5090694的博客
09-24 1838
爬取红楼梦全篇内容： 数据解析步骤：章节标题，详情页url，章节内容 通过浏览器开发者工具中，我们得知。小说章节的标题，和每一张的链接，都在<li>标签中。 现在我们用bs4把这2个数据提取出来。 import requests from bs4 import BeautifulSoup main_url = 'https://www.shicimingju.com/book/hongloumeng.html' reponse = requests.get(url=main_url)
python 爬虫入门--抓取红楼梦小说
天天向上的专栏
03-27 3783
爬虫抓取网页的三个基本步骤： 获取网页 html （用 request 包） 解析网页，找到我们想要的内容（用 beautifulsoup 包等） 输出内容 找到一个在线红楼梦网址：http://www.shicimingju.com/book/hongloumeng.html 从这个网站抓取红楼梦，不过这个网站缺少 28 回，代码如下： # -*- coding: utf-8 -*- """...
python 提取红楼梦第一章得到五言律诗和七言律诗（正则表达式）
m0_62788719的博客
11-01 546
python 提取红楼梦第一章得到五言律诗和七言律诗（正则表达式）
爬虫入门—数据解析基础 bs4库使用之红楼梦全文文本爬取
风雨_寒的博客
02-23 2237
爬虫入门—数据解析基础 bs4库使用之红楼梦全文文本爬取 Author： Labyrinthine Leo   Init_time： 2021.02.23 Key Words： Spider、BeautifulSoup 公众号：Leo的博客城堡 欢迎各位读者关注公众号：Leo的博客城堡，如有任何问题，可以私聊博主！ 1、需求分析 需求：在上一节中，我们大概了解BeautifulSoup库的基本使用，这一节我们将使用bs4库进行实战，对诗词名句网的红楼梦小说文本内容进行爬取，包括每一章的标题和
高考名著红楼梦情节复习--打印版.pdf
10-07
高考名著红楼梦情节复习--打印版.pdf
基于Python的红楼梦文本分析.zip
05-20
Dream_of_the_Red_Kmeans.py ：基于python实现红楼梦聚类分析的主程序 Dream_of_the_Red_Mansion.txt : 红楼梦txt KMeansCluster_Class.py ：自己编写的KMeans程序 Red_Mansion_Dictionary.txt : 红楼梦人物名，...
关于读《红楼梦》有感-红楼梦心得精选.docx
10-08
关于读《红楼梦》有感-红楼梦心得精选.docx
python爬取小说红楼梦
cuit_海妖
11-21 1358
import requests from bs4 import BeautifulSoup import lxml def getsg(): headrs = { 'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 95.0.4638.69Safari / 537.36Edg / 95.0.1020.53' } .
机器学习红楼梦Python代码
04-12
本代码主要是用机器学习的方法判断红楼梦后四十回是不是曹雪芹写的
用Python读红楼梦之——一、词云绘制
热门推荐
大数据分析实战
07-01 2万+
Python在数据分析中越来越受欢迎，已经达到了统计学家对R的喜爱程度，Python的拥护者们当然不会落后于R，开发了一个个好玩的数据分析工具，下面我们来看看如何使用Python，来读红楼梦，本文是《用Python读红楼梦》系列文章的第一篇，绘制小说中的词云。
Python爬取《三国演义》并且制作词云
孤行
12-26 9034
猫猫很可爱！
python红楼梦_用Python读红楼
weixin_39978863的博客
12-06 1821
用Python读红楼最近受到这篇文章用Python读金庸武侠的启发。作为古典文(zhuang)学(bi)青年，一定要用Python来试试我读了20年的《红楼梦》。首先从网上找到了红楼梦.txt(不清楚版本，可能是程甲版)和对应的人物表。把人名加入词库，然后用结巴分词切分整个文章(我没有区分前八十回和后四十回)，加入gensim的训练中def tranning():with open('hlm.tx...
用Python读红楼梦之——二、词云美化
大数据分析实战
07-01 4944
咱们书接上回，讲到我们使用Python把红楼梦中的核心词汇给绘画出来了，但是，红楼梦这么唯美的书，给我们乌漆麻黑的搞了一张词云，宝宝们肯定接受不了。
python爬虫实战案例(爬取大学排名Top500、爬取58同城的房价信息、爬取小说《红楼梦》)
weixin_46703850的博客
11-25 3581
一、爬取网站大学排名Top500 1、选择要爬取目标网站 中国大学排名_中国教育在线 (eol.cn) 2、分析网站所需数据的源码 3、编写python爬虫程序 # -*- codeing = utf-8 -*- from bs4 import BeautifulSoup # 网页解析，获取数据 import re # 正则表达式，进行文字匹配` import urllib.request, urllib.error # 制定URL，获取网页数据 import xlwt # 进行excel操
Python从诗词名句网站中抓取四大名著之一《三国演义》！
Ganxiang
12-19 1606
从诗词名句网站中抓取四大名著之一红楼梦，并保存！ @ XGan 2019 12 19 **抓取诗词网站（http://www.shicimingju.com/book/hongloumeng.html）中的四大名著–《红楼梦》，并保存到本地文件中，使用该代码可以抓取诗词网上很多的古典诗集的，只需做稍微的修改，但都只支持单部书籍的爬取，等有时间写一个全网爬取的Demo,到时候与大家分享，这里只是以《...
Python自学笔记5：实操案例二（输出出版图书信息、《红楼梦》五位人名、图书音像勋章、身体指标）
bailichen800的博客
05-21 791
Python自学笔记4：实操案例二（输出出版图书信息、《红楼梦》五位人名、图书音像勋章、身体指标） 1.输出出版图书信息 这个没啥难度，就是定义变量然后输出，注意调整格式就行 book_name='Java程序设计教程' publish='西安电子科技大学出版社' pub_date='2019-02-02' price=56.8 print('►→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→◀') print('▷\t\t《',book_name,'》\t\t◁') print('▷\t出
爬虫学习心得
qq_52319405的博客
10-24 2998
Requests官方文档中关于Requests的介绍是：Requests是一个优雅而简单的Python HTTP库，是为人类构建的。在python环境中对小说进行爬取，一般需要安装爬虫所需的第三方库，目前我所使用的为BS4和Requests。试验BS4与lxml能否正常运行，data表示要解析的内容，而lxml则是解析文档内容所使用的解析器。6.检查不同章节href标签的相似之处，通过循环遍历的方式，来自定义想要爬取的章节数量。由于爬取的数据过多，这里不做赘述，由此requests库正常运行。
python爬取 红楼梦.txt
最新发布
04-27
你可以使用Python的requests库和BeautifulSoup库来爬取《红楼梦》的文本。具体步骤如下： 1.导入所需的库： ```python import requests from bs4 import BeautifulSoup ``` 2.使用requests库获取小说网站的HTML...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值