当Python爬虫遇到br标签......

最新推荐文章于 2024-03-15 20:31:42 发布

程序媛小本

最新推荐文章于 2024-03-15 20:31:42 发布

阅读量2.4k

点赞数 20

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/m0_59236127/article/details/136251941

版权

本文讲述了如何使用Python爬虫抓取静态网页数据时，遇到br标签导致的换行问题。通过观察网页、请求数据、使用BeautifulSoup解析，以及对数据中的br标签进行替换，解决了文本格式问题，提供了完整的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、观察网页
二、请求、解析数据
三、问题
四、问题的解决
完整代码

一、观察网页

以淘股吧某博主的一篇文章为例，点进需要爬取的帖子页面（https://www.taoguba.com.cn/Article/5254382/1）。通过对跟帖翻页，发现网址变化，证明网页为静态网页。

右键“检查”，找到点击“网络”之后，选择与本帖网址后缀名相同的链接，“Crtl+F”搜索“捷荣技术这一波”，在网页中能找到此内容，验证了此网页为静态网页。

二、请求、解析数据

点击“检查”、“网路“，找到网页请求方法为GET。

找到所需要文本对应的标签和作者的id标签。

用BeautifulSoup爬取，得到输出结果。

import requests   from bs4 import BeautifulSoup   url='https://www.taoguba.com.cn/Article/5254382/1'   r=requests.get(url)   soup = BeautifulSoup(r.text,'html.parser')   print(soup.find('div',id='first').text)

三、问题

与原贴对比能发现，原贴的文字是有换行的，但是soup.find('div',id='first').text把所有文本罗列在一起，没有换行，可读性较差。

四、问题的解决

查看网页源代码可发现，出现较多的标签<br>或<br/>。

什么是br标签

大部分HTML标签是闭合的，一个闭合的 HTML 元素通常包括：
开始标签
元素内容
结束标签
属性（可选）

例如：<title>网页标题</title>。<title>是开始标签，</title>是闭合标签，网页标题是元素内容。

但有的HTML标签是没有结束标签的，比如br标签。

br标签的作用是在文本中换行，它与python中换行符\n作用比较相似，每一次的出现都代表一次换行。同时，它也是一个空元素（只有一个开始标签，没有结束标签，没有元素内容）。

所以，要让空行重新出现在最后的输出结果上，我们可以对requests爬取的数据先进行处理，把br标签替换为换行符/n，再用Beautifulsoup抓取”被修改“的数据内容。注意，replace只能对字符串使用，soup与r都不是字符串，不能直接用于替换，故需要先得到所爬取数据的字符串，如r.text。

r=requests.get(url)   text2 = r.text.replace('<br>','\n').replace('<br/>','\n')

查看修改后的数据text2，能发现br标签已全部被替换。

接下来只需要继续用BeautifulSoup库解析处理过的text2数据，找到主贴作者的id标签进行爬取就能得到原有格式的全文。

完整代码

import requests   from bs4 import BeautifulSoup   url='https://www.taoguba.com.cn/Article/5254382/1'   r=requests.get(url)   text2 = r.text.replace('<br>','\n').replace('<br/>','\n')   soup = BeautifulSoup(text2,'html.parser')   print(soup.find('div',id='first').text)

以上就是“当Python爬虫遇到br标签…”的全部内容，希望对你有所帮助。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述