第一次爬小说，乱码？没安装Beautiful Soup库？

最新推荐文章于 2022-12-11 20:47:46 发布
最新推荐文章于 2022-12-11 20:47:46 发布
阅读量1.4k 收藏 4
点赞数 3
分类专栏： 新手学python 文章标签： 乱码 python 正则表达式 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43787365/article/details/106518251
版权

最近《传闻中的陈芊芊》十分的火，我也上车了 哈哈哈哈，但是电视剧已经不能满足我对剧情的好奇，总希望在小说里面找不同。

import requests
target = 'https://www.biqiuge.com/book/52415/85860763.html'
req = requests.get(url=target)
print(req.text)

当我满心欢喜的点了F5，出现了……嗯，看不到。😭
在这里插入图片描述

出现中文乱码，怎么办👀？

1、首先为什么会出现乱码。乱码的问题,本质上来说就是编码和解码采用的编码方案不同。
打开原网页，找到网页编码。
在这里插入图片描述
通过查看源代码可以发现这个网址采用的编码是GBK

 <meta http-equiv="Content-Type" content="text/html; charset=gbk" />

补充内容：
Content-Type：在HTTP协议消息头中，使用Content-Type来表示请求和响应中的媒体类型信息。它用来告诉服务端如何处理请求的数据，以及告诉客户端（一般是浏览器）如何解析响应的数据。

Content-Type：type/subtype ;parameter

  • type：主类型，任意的字符串，如text，如果是*号代表所有；
  • subtype：子类型，任意的字符串，如html，如果是*号代表所有，用“/”与主类型隔开；
  • parameter：可选参数，如charset，boundary等。

2、此时，我们需要将编码改为GBK。

encode()方法：以 encoding 指定的编码格式编码字符串。
encode()方法语法：

  • str.encode(encoding=‘GBK’,errors=‘strict’)

参数

  • encoding – 要使用的编码，如"GBK"。
import requests
target = 'https://www.biqiuge.com/book/52415/85860763.html'
req = requests.get(url=target)
req.encoding='GBK'
print(req.text)

在这里插入图片描述
3、获取了HTML信息，现在我们就需要把正文提取出来，不然看着脑子疼。🤨
先找到我们要找到文本所在处。
在这里插入图片描述
不难发现，文章的所有内容都放在了一个名为div的“东西下面”，这个”东西”就是html标签。HTML标签是HTML语言中最基本的单位，HTML标签是HTML最重要的组成部分。

<div id="content", class="showtxt">

id和class就是div标签的属性，content和showtxt是属性值，一个属性对应一个属性值，是用来区分不同的div标签。
class属性为showtxt的div标签。我们可以以此下手！

安装Beautiful Soup4失败？

Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据,有了它我们可以很方便地提取出HTML或XML标签中的内容。
并用findall()函数匹配所有符合规律的内容，并以列表的形式返回结果。

from bs4 import BeautifulSoup
import requests
target = 'https://www.biqiuge.com/book/52415/85860763.html'
req = requests.get(url=target)
req.encoding='GBK'
html=req.text
bf=BeautifulSoup(html)
texts=bf.find_all('div',class_='showtxt')
print(texts)

兴奋的按下F5,又……？突然想到我昨天安装的是Beautiful Soup，

在这里插入图片描述
如果不加上 4，会是老版本也就是 bs3，它是为了兼容性而存在，目前已不推荐。

怎么安装第三方库？

  • 先找到安装python的文件夹，并且找到Scrips。
  • 点进去，然后shift+右键
  • 找到在此处“打开Powershell窗口”，点他。
    -输入——pip install beautifulsoup4

在这里插入图片描述
在这里插入图片描述

安装好bs4之后，果然行了，但是还是有多余，比如div标签名，br标签，以及各种空格。怎么去除这些东西呢？我们继续编写代码。

<br> 可插入一个简单的换行符。

<br> 标签是空标签（意味着它没有结束标签，因此这是错误的：<br></br>）。在 XHTML 中，把结束标签放在开始标签中，也就是 <br />。

在这里插入图片描述
拿爬取的内容跟原网页对比发现：
在这里插入图片描述

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;为空白

\xa0表示不间断空白符，爬虫中遇到它的概率不可谓不小，而经常和它一同出现的还有\u3000、\u2800、\t等Unicode字符串。

find_all匹配的返回的结果是一个列表。提取匹配结果后，使用text属性，提取文本内容，滤除br标签。随后使用replace方法，剔除空格，替换为回车进行分段。 在html中是用来表示空格的。

replace(‘\xa0’*8,’\n\n’)就是去掉下图的八个空格符号，并用回车代替。

from bs4 import BeautifulSoup
import requests

target = 'https://www.biqiuge.com/book/52415/85860763.html'
req = requests.get(url=target)
req.encoding='GBK'
html=req.text
bf=BeautifulSoup(html)
texts=bf.find_all('div',class_='showtxt')
print(texts[0].text.replace('\xa0'*8,'\n\n'))

在这里插入图片描述
这样我们一章就爬完了。
就先这样8，溜了，去吃午饭了。

尝试爬取整本书

上面我们已经学会爬取一个章节。那么怎么爬取整本小说呢？

在这里插入图片描述
这些章节都存放在了class属性为listmain的div标签下，选取部分html代码如下：

<div class="listmain">
	<dl>
		<dt>《传闻中的三公主》最新章节列表</dt>
		<dd><a href ="/book/52415/85774549.html">第一百七十五章 真是好不要脸</a></dd>
		<dd><a href ="/book/52415/85774550.html">第一百七十四章 天下无不散之筵席</a></dd>
		<dd><a href ="/book/52415/85774551.html">第一百七十三章 要点东西</a></dd>
		<dd><a href ="/book/52415/85774552.html">第一百七十二章 陈芊芊算漏的那个人</a></dd>
		<dd><a href ="/book/52415/85774553.html">第一百七十一章 你把韩烁送走了</a></dd>
		<dd><a href ="/book/52415/85774554.html">第一百七十章 你不喜欢我</a></dd>
		<dt>《传闻中的三公主》正文卷</dt>
		<dd><a href ="/book/52415/86867523.html">第一章 阴差阳错</a></dd>
		<dd><a href ="/book/52415/86755792.html">第二章 当街抢亲</a></dd>
		<dd><a href ="/book/52415/86755791.html">第三章 影帝的指点</a></dd>
		<dd><a href ="/book/52415/86755790.html">第四章 穿越成女配</a></dd>
		<dd><a href ="/book/52415/86755789.html">第五章 离韩烁那扫把星越远越好</a></dd>
		<dd><a href ="/book/52415/86755788.html">第六章 这是杀马儆我啊</a></dd>
		<dd><a href ="/book/52415/86755787.html">第七章 论如何穿回现代</a></dd>
		<dd><a href ="/book/52415/86755786.html">第八章 一切都要给洞房让路</a></dd>
		<dd><a href ="/book/52415/86755785.html">第九章 你家守宫砂是日抛的啊</a></dd>
		<dd><a href ="/book/52415/86755784.html">第十章 酒中下毒</a></dd>
		<dd><a href ="/book/52415/86755783.html">第十一章 韩烁入狱</a></dd>
		<dd><a href ="/book/52415/86755782.html">第十二章 我怀孕了！</a></dd>
		<dd><a href ="/book/52415/85774552.html">第一百七十二章 陈芊芊算漏的那个人</a></dd>

	</dl>
</div>

1、<div>和</div>限定了<div>标签的开始和结束的位置，他们是成对出现的，有开始位置，就有结束位置。
2、在<div>标签包含<dl>标签，那这个<dl>标签就是<div>标签的子节点，<dl>标签又包含<dt>标签和<dd>标签，那么<dt>标签和<dd>标签就是<div>标签的孙节点。
3、我们看到每个章节的名字存放在了<a>标签里面。<a>标签还有一个href属性。这里就不得不提一下<a>标签的定义了，<a>标签定义了一个超链接，用于从一张页面链接到另一张页面。<a> 标签最重要的属性是 href 属性，它指示链接的目标。

根据我们昨天提取章节的方法，得：
在这里插入图片描述
在这里插入图片描述
我们可以根据标签的href属性值获得每个章节的链接和名称了。

from bs4 import BeautifulSoup
import requests
if __name__ == "__main__":
    server='https://www.biqiuge.com/'
    target = 'https://www.biqiuge.com/book/52415/'
    req = requests.get(url = target)
    req.encoding='GBK'
    html = req.text
    div_bf = BeautifulSoup(html)
    div = div_bf.find_all('div', class_ = 'listmain')
    a_bf=BeautifulSoup(str(div[0]))
    a=a_bf.find_all('a')#find_all返回的是一个列表，里边存放了很多的<a>标签
    for each in a:#用for循环遍历每个<a>标签并打印出来
        print(each.string,server+each.get('href'))

在这里插入图片描述
发现上面有6个下面也会重复。

from bs4 import BeautifulSoup
import requests, sys

class downloader(object):

    def __init__(self):
        self.server = 'https://www.biqiuge.com/'
        self.target = 'https://www.biqiuge.com/book/52415/'
        self.names = []            #存放章节名
        self.urls = []            #存放章节链接
        self.nums = 0            #章节数

 
    def get_download_url(self):
        req = requests.get(url = self.target)
        html = req.text
        div_bf = BeautifulSoup(html)
        div = div_bf.find_all('div', class_ = 'listmain')
        a_bf = BeautifulSoup(str(div[0]))
        a = a_bf.find_all('a')
        self.nums = len(a[6:])  #剔除不必要的章节，并统计章节数
        for each in a[6:]:
            self.names.append(each.string)
            self.urls.append(self.server + each.get('href'))

    def get_contents(self, target):
        req = requests.get(url = target)
        req.encoding='GBK'
        html = req.text
        bf = BeautifulSoup(html)
        texts = bf.find_all('div', class_ = 'showtxt')
        texts = texts[0].text.replace('\xa0'*8,'\n\n')
        return texts

    def writer(self, name, path, text):
        write_flag = True
        with open(path, 'a', encoding='UTF-8') as f:
            f.write(name + '\n')
            f.writelines(text)
            f.write('\n\n')

if __name__ == "__main__":
    dl = downloader()
    dl.get_download_url()
    print('《传闻中的陈芊芊》开始下载：')
    for i in range(dl.nums):
        dl.writer(dl.names[i], '传闻中的陈芊芊.txt', dl.get_contents(dl.urls[i]))
        sys.stdout.write("  已下载:%.3f%%" %  float(i/dl.nums) + '\r')
        sys.stdout.flush()
    print('《传闻中的陈芊芊》下载完成')

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

yyyloki
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[爬虫学习笔记]针对某网站爬取小说文字的实例及相关问题的记录
Akatinglory的博客
08-03 362
爬虫初学心得记录
FastJson小技巧——@JSONField的史上最全最详细讲解——一看就会
可乐多点冰的博客
09-01 2万+
常见：使用fastjson进行需要对字段进行一些特殊处理，比如时间格式，前后端名字不一致，字段为null是否依然序列化等问题。那么fastjson的@JSONField就能很好的解决这些问题。 @JSONField注解的源码如下 @Retention(RetentionPolicy.RUNTIME) @Target({ ElementType.METHOD, ElementType.FIELD, ElementType.PARAMETER }) public @interface JSONField {
scrapy爬取小说时换行问题
Keyu
04-25 4873
抓取长段文本时。text=response.css('[id=content]::text').extract()此时将内容存取在text，text实际是一个list。由于html中各段落之间都有&lt;br&gt;每一段就被分开了，爬取后，写入后各段落就变成了，（逗号）分割，不好看。于是需要将list合并为一个字符串content="\n".join(text)...
我的爬虫入门作（一）
鱼翔浅底的博客
05-10 350
我的爬虫入门之作：爬取一本小说并且存入文件
Python-Requests库网络爬取实战
小程博客
11-22 2448
目录 1.京东商品页面的爬取 2.亚马逊商品页面的爬取 3.百度/360搜索关键词提交 4.网络图片的爬取和存储 5. IP地址归属地的自动查询 1.京东商品页面的爬取 >>> import requests >>> url = "https://item.jd.com/57150995672.html" >>> try: r...
python 解析库Beautiful Soup的安装
hubing_hust的专栏
12-11 2万+
本文介绍了python解析库beautifulsoup的安装
python爬虫-Beautiful Soup库入门（四）
12-20
**Python爬虫与Beautiful Soup库入门** Beautiful Soup是Python中常用的HTML和XML解析库，它提供了简单的导航、搜索和修改解析树的接口，是进行网页抓取和数据提取的得力工具。本篇将详细介绍Beautiful Soup库的...
python爬虫开发之Beautiful Soup模块从安装到详细使用方法与实例
09-17
在Python的网络爬虫开发中，Beautiful Soup是一个非常重要的库，它主要用于解析HTML和XML文档，提取所需的数据。本文将详细介绍如何安装和使用Beautiful Soup，以及它的主要功能和优势。 首先，让我们了解一下如何...
Python爬虫数据抽取(二)：解析库Beautiful Soup 4
12-21
Beautiful Soup 4 是由Leonard Richardson开发的，作为一个第三方库，它的主要任务是从网页中提取结构化数据。它与不同的解析器如lxml或html.parser协同工作，提供了强大的灵活性。相比其他库如ElementTree (ET)，...
Ubuntu Linux系统VLC media player中文字幕文件挂载乱码修复笔记
蛙鳜鸡鹳狸猿
02-24 1万+
安装默认的字幕语言编码是“ Windows-1252 ”，Ubuntu系统上挂载中文字幕文件（.srt文件）会乱码，需要修改成Unix / Linux系统的中文编码。 修改入口为：Tools ->> Preferences ->> Subtitles / OSD ->> Default encoding。点击下拉框，选择” Simplified Chinese...
Python爬虫-面向对象-《传闻中的陈芊芊》豆瓣热评
weixin_46538895的博客
06-06 1万+
Python爬虫-面向对象-《传闻中的陈芊芊》豆瓣热评 其实需要注意的问题也并不是很多，现在大多数网站都建立了反爬机制，通过user-agent模仿用户进行服务器访问，如果无法访问，再添加一条cookie。 如有不足，欢迎大佬指点！！！！！ 代码如下： import requests import re #定义对象（面向对象） class Douban: #定义初始化（url链接，反爬用户认证） def __init__(self): self.url_temp = "
【Python】轻松搞定小说文本爬虫乱码问题
看图的博客
07-10 4694
今天早上早早地过来就被盆友要求给下一部小说。 这样还不行，还要给她下载好。 给出主意万能主意，还不行。 正好最近学习了下爬虫，手痒痒尝试了下，顺带装个逼。没想到。。。 环境飞机票 飞机票：小说花千骨 前段时间总结的小说爬虫：【Python】基于Python3的爬虫----是时候下本小说看看了！ 然后翻车了。 下载下来全是乱码，我也是醉了。有点抓狂...
beautifulsoup4 去除各种特殊字符
ROSE_ty的博客
03-10 6484
在使用Python爬虫的时候，对于 html 中存在很多空行，空格的处理问题。 很多文章是存 word 中直接复制到到网页上的，对于这种方式编辑的 html 结构可能比较混乱。如何净化或者说格式化这种 html，快速过滤出换行符、空格、中文空格等。 在jupyter notebook里面，以下为步骤： 1.首先 import re 2.其次a = re.comp...
The writeAsCsv() method can only be used on data sets of tuples.
热门推荐
微电子学与固体电子学-俞驰
12-13 5万+
故障代码: DataSet<Sales> ds2=env.readCsvFile(inPath) .lineDelimiter("\n") .fieldDelimiter(",") .ignoreFirstLine() .includeFields("1111")//四列字段都要 .pojoType(Sales.class, "transacitonId","customerId", "itemId", "amo
精通Apache Flink读书笔记--1、2
lmalds的专栏
03-06 1万+
Flink Master Apache Flink
python 爬虫爬取内容时， \xa0 、 \u3000 的含义与处理方法
s1162276945的博客
06-20 1万+
https://blog.csdn.net/thewindkee/article/details/79890207 \xa0 是不间断空白符 &amp;amp;nbsp; \u3000 是全角的空白符
python爬虫爬取内容为乱码（解决方法）
weixin_47514459的博客
01-09 1万+
小编答应朋友想爬取某某某论文，然后爬取内容竟然是乱码？所以小编就请教老师，自己做笔记总结自己的学习历程。 python处理乱码 自己按自己思路执行的代码，然后计算机执行的代码，总有一些差距。具体情况，学习过来的小伙伴都懂。 现象 下面来说说解决办法吧。我们下要先当我们获取的内容为乱码是是因为什么导致的，可能是requests.text的解码方式不正确，要看html中的字符编码方式。点击F12——>点进Console——>输入document.charset 如图看见编码格式是“GBK” 这.
Beautiful Soup库安装
最新发布
09-06
第二步，打开终端或命令提示符窗口，并输入以下命令来安装Beautiful Soup库： ``` pip install beautifulsoup4 ``` 如果你使用的是Python3版本，则需要使用pip3命令来代替pip命令。 第三步，等待安装完成。该命令将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值