基于bs4库的HTML格式化和编码

已于 2023-12-26 15:22:40 修改
阅读量448 收藏 8
点赞数 10
分类专栏： 爬虫 文章标签： python 爬虫 beautifulsoup
于 2023-12-26 15:22:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49335800/article/details/135222592
版权
文章介绍了如何使用Python的BeautifulSoup库对HTML文本进行格式化（prettify），包括添加换行和美化标签结构，并展示了如何处理<a>标签。同时提及了UTF-8编码在处理包含中文的HTML内容中的作用。
摘要由CSDN通过智能技术生成

格式化

prettify能够为html文本的标签以及内容增加换行符，也可以对每一个标签来做相关处理

>>> import requests
>>> r = requests.get("http://python123.io/ws/demo.html")
>>> demo = r.text
>>> demo
'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo, 'html.parser')
>>> soup.prettify()
'<html>\n <head>\n  <title>\n   This is a python demo page\n  </title>\n </head>\n <body>\n  <p class="title">\n   <b>\n    The demo python introduces several python courses.\n   </b>\n  </p>\n  <p class="course">\n   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\n   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">\n    Basic Python\n   </a>\n   and\n   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">\n    Advanced Python\n   </a>\n   .\n  </p>\n </body>\n</html>\n'
>>> print(soup.prettify())
<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python>>> import requests
>>> r = requests.get("http://python123.io/ws/demo.html")
>>> demo = r.text
>>> demo
'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo, 'html.parser')
>>> soup.prettify()
'<html>\n <head>\n  <title>\n   This is a python demo page\n  </title>\n </head>\n <body>\n  <p class="title">\n   <b>\n    The demo python introduces several python courses.\n   </b>\n  </p>\n  <p class="course">\n   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\n   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">\n    Basic Python\n   </a>\n   and\n   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">\n    Advanced Python\n   </a>\n   .\n  </p>\n </body>\n</html>\n'
>>> print(soup.prettify())
<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python
   </a>
   .
  </p>
 </body>
</html>

# 对soup当中的a标签做prettify处理
>>> print(soup.a.prettify())
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
 Basic Python
</a>

>>> 
   </a>
   .
  </p>
 </body>
</html>

编码

bs4库将任何读入的html文件或字符串都转换成了UTF8编码，UTF8编码是一种国际通用的标准编码格式，能很好的支持中文等第三国的语言；由于python3.X系列默认的编码是UTF8，因此在使用bs库时没有任何障碍；python2.X系列需要做转换

>>> soup = BeautifulSoup('<p>中文</p>', 'html.parser')
>>> soup.p.string
'中文'
>>> print(soup.p.prettify())
<p>
 中文
</p>

>>>

叶.Y
关注
专栏目录
bs4库的prettify()方法
子不语子不宁的博客
02-22 1万+
基于bs4库HTML的格式输出如何让&lt;html&gt;页面更友好的显示prettify()方法：&gt;&gt;&gt; import requests &gt;&gt;&gt; r = requests.get("http://python123.io/ws/demo.html") &gt;&gt;&gt; demo = r.text &gt;&gt;&gt; demo
Python爬虫2--数据解析方法：bs4库的使用和案例
Sun123234的博客
01-31 1880
Python爬虫2--数据解析方法：bs4库的使用和案例
Python 格式化输出详解
卡尔特斯
03-02 616
格式化输出 %d、%s、%f … 的使用 格式化输出案例： f''' ：属于 >=py3 版本的支持 %()s ：属于 py3 之前版本就支持 # 定义变量 name = input('请输入名称：') age = input('请输入年龄：') sex = "男" # 格式化输出，无法识别变量 msg1 = ''' ------- 个人信息1 ------- Name : {name} Age : {age} ''' # 格式化输出，支持识别变量，需要提前准备变量 ms..
bs4库的prettify()方法|粉饰的意思。就是多了换行！
01-21
单独执行：【未经过print输出！】. soup.prettify()： 就是多带了个换行符号！ 代码： import requests from bs4 import BeautifulSoup r = requests.get(https://python123.io/ws/demo.html) demo = r.text soup = BeautifulSoup(demo, html.parser) print(soup.prettify()) print('\n') print(type(soup.prettify())) print('\n') print(str(sou
基于bs4的遍历方法及bs4库的HTML格式化和编码
NY_YN的博客
12-23 809
一、、基于bs4的遍历方法 1.html基本格式 2.便签树的遍历方法 （1）标签树的下行遍历 属性 说明 .contents 子节点的列表，将所有儿子节点存入列表 .children 子节点的迭代类型，与.content类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历 遍历儿子节点 for child in soup.body.children: print(child) 遍历子孙节点 for child in sou
爬虫日记-基于bs4库的HTML格式化和编码
weixin_30537451的博客
08-24 197
基于bs4库的HTML格式化和编码 import requests from bs4 import BeautifulSoup r=requests.get('https://python123.io/ws/demo.html') demo=r.text soup = BeautifulSoup(demo,'html.parser') print(soup.prettify()) 我们...
java基于BS结构下的OA流程可视化的研究与实现(源代码+论文).rar
04-17
【标题】：“java基于BS结构下的OA流程可视化的研究与实现(源代码+论文).rar”揭示了这个项目是关于使用Java技术实现一个基于Browser/Server（BS）架构的办公自动化（OA）系统的流程可视化部分。BS架构是一种常见的...
python的requests和bs4的使用
lisa_her的博客
10-18 842
json是一种通用的数据格式(为了让不同编程语言的程序之间可以进行有效的数据交流而存在的)json数据格式：一个json有且只有一个数据，并且唯一的这个数是json支持的数据类型的数据。
asp基于BS医药连锁店管理系统(源代码+论文).zip
02-19
在本项目"ASP基于BS医药连锁店管理系统"中，它被用来构建一个基于浏览器-服务器（Browser-Server，BS）架构的系统，适用于医药连锁店的日常运营和管理。 BS架构是一种网络应用模式，用户通过浏览器进行操作，所有的...
Python 格式化输出.html
02-05
通过基础讲解明白什么是格式化，如何使用，以及使用格式化输出的目的和意义，掌握最基本的几个格式控制符，
ASP基于BS视频点播系统设计(论文+源代码).rar
04-08
综上所述，ASP基于BS视频点播系统设计涵盖了Web开发的多个层面，包括前端交互、后端处理、数据库管理、流媒体技术和软件工程实践。通过学习和分析这个案例，不仅可以了解和掌握相关技术，还能为未来从事相关工作打下...
【Beautiful Soup库】{3} ——基于bs4库的HTML格式化和编码
Giyn
03-17 674
此处介绍基于bs4库的HTML格式输出。
python 格式化html + js/jq 格式化html
管家 的博客
07-28 3213
给公司开发软件的时候，给用户编辑的对话框是自己开发的富文本插件，会自动给文本加上一些简单的p、div标签 但是在用户粘贴文章进来的时候，就有问题了，因为复制网页上的东西，大部分都是带有格式的。而且各种恶心的自定义标签，加大了难度。 话不多说，代码是生产环境的代码，应该是靠谱的，有啥问题，可以交流，重点是后端的python代码。 1、前端获取粘贴之后的数据（因为环境不一样，安卓获取不到
python html_使用Python格式化HTML代码
weixin_39747615的博客
11-26 964
I have a list of URLs in a column in a CSV-file. I would like to use Python to go through all the URLs, download a specific part of the HTML code from the URL and save it to the next column.For exampl...
python格式化html库_python 代码格式化工具：YAPF
weixin_39731807的博客
12-03 604
背景现在的大多数 Python 代码格式化工具(比如：autopep8 和 pep8ify)是可以移除代码中的 lint 错误。这显然有些局限性。比如：遵循 PEP 8 指导的代码可能就不会被格式化了，但这并不说明代码看起来就舒服。但 YAPF 独辟蹊径。它脱胎于由 Daniel Jasper 开发的 clang-format。大体上来说，这个算法获取代码，然后把初始代码重新编排，即便初始代码并没...
python压缩html代码格式化,Python格式化压缩后的JS文件的方法
weixin_35564436的博客
06-03 269
本文实例讲述了Python格式化压缩后的JS文件的方法。分享给大家供大家参考。具体分析如下：该脚本可以把压缩后的js文件格式上进行些还原，当然不会百分百完美，暂不处理语法问题，只是为了方便阅读js代码lines = open("unformated.js").readlines()[0].split(";")#一般压缩后的文件所有代码都在一行里#视情况设定索引，我的情况时第0行是源代码。inden...
【python】使用字符串格式化渲染html
最新发布
longforone的博客
08-13 633
将 CSS 中的“{}”全部替换为“{{}}”，这种方法是可行的。在 Python 进行字符串格式化时，“{{}}”中的“{}”及其他内容会被当作普通字符串处理，不会被格式化。但当我开启 PyCharm 的代码格式化功能时，原本的“{{}}”会被转换为“{\n{ }\n}”，因此使用起来较为麻烦，甚至不太能用。然而，由于 HTML 模板中存在 CSS 样式，其“{}”语法与 Python 格式化字符串的语法产生了冲突。接着，针对“body”部分使用关键字参数进行字符串格式化，如此一来，看起来也更为直观。
bs4爬虫出现中文乱码解决方式
qq_43637727的博客
02-02 1761
刚开始，自己是一步到位写的，像这样： page_text= requests.get(url=url,headers=headers).text 后来，出现了乱码，原因是没有指定编码格式，改成了这样： page_text1 = requests.get(url=url,headers=headers) page_text1.encoding=‘utf-8’ page_text=page_text1.text ...
Python办公自动化：探索强大的第三方库
- BeautifulSoup4，简称bs4，是用于解析HTML和XML文档的库，它能够快速提取和解析网页数据，处理编码问题和特殊字符，非常适用于网页数据的快速抓取和清洗。 - Scrapy是目前最流行的网络爬虫框架之一，它拥有强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值