Python HTML解析库Beautiful Soup

已于 2022-04-07 15:10:52 修改
阅读量2.7k 收藏 5
点赞数 1
分类专栏： Python 文章标签： python bs4 爬虫
于 2020-08-03 14:08:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lly1122334/article/details/107041445
版权

文章目录

简介

Beautiful Soup 是 Python 的 HTML/XML 解析器，可以很好地处理不规范标记并生成剖析树(parse tree)。

Beautiful Soup 提供简单实用的导航，搜索以及修改剖析树的操作，大大节省编程时间。

本文代码




安装

pip install lxml beautifulsoup4




初试

测试页面

<html>
<head><title>Page title</title></head>
<body>
<p id="firstpara" align="center">This is paragraph <b>one</b>.</p>
<p id="secondpara" align="blah">This is paragraph <b>two</b>.</p>
</body>
</html>

长这样
在这里插入图片描述
代码

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.contents[0].name)  # 第一个节点的名字
# 'html'
print(soup.contents[0].contents[0].name)  # 第一个节点的第一个节点的名字
# 'head'

head = soup.contents[0].contents[0]
print(head.parent.name)  # 父节点
# 'html'

print(head.next)  # 下一个节点
# <title>Page title</title>

print(head.nextSibling.name)  # 下一个兄弟节点的名字
# 'body'

print(head.nextSibling.contents[0])
# <p id="firstpara" align="center">This is paragraph <b>one</b>.</p>

print(head.nextSibling.contents[0].nextSibling)
# <p id="secondpara" align="blah">This is paragraph <b>two</b>.</p>




搜索标签和属性

  1. .：取节点
  2. .string：取内容
  3. bs4.BeautifulSoup('xxx')：查找标签
import re
from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

titleTag = soup.html.head.title  # 取节点
print(titleTag)
# <title>Page title</title>

print(titleTag.string)  # 取内容
# 'Page title'

print(soup('p'))  # 查找标签
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

print(soup.findAll('p', align="center"))  # 指定属性查找所有，相当于soup('p', align="center")
# [<p id="firstpara" align="center">This is paragraph <b>one</b>. </p>]
print(soup('p', align="center"))  # 同上

print(soup.find('p', align="center"))  # 只查找一个
# <p id="firstpara" align="center">This is paragraph <b>one</b>. </p>

print(soup('p', align="center")[0]['id'])  # 取出id
# 'firstpara'

print(soup.find('p', align=re.compile('^b.*'))['id'])  # 查找align为'b'开头的元素
# 'secondpara'

print(soup.find('p').b.string)  # p元素 → b元素的内容
# 'one'

print(soup('p')[1].b.string)  # 所有p元素 → 第二个 → b元素的内容
# 'two'




导航

属性含义
parent父节点
contents子节点
string字符串内容
nextSibling下一个兄弟节点
previousSibling上一个兄弟节点
next下一层处理次序
previous上一层处理次序
from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.head.parent)  # 父节点
# <html><head><title>Page title</title></head><body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body></html>

print(soup.head.contents)  # 子节点
print(soup.p.contents)  # 子节点
# [<title>Page title</title>]
# ['This is paragraph ', <b>one</b>, '.']

print(soup.b.string)  # 字符串内容
# one

print(soup.head.nextSibling)  # 下一个兄弟节点
# <body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>

print(soup.body.previousSibling)  # 上一个兄弟节点
# <head><title>Page title</title></head>

print(soup.head.next)  # 下一层处理次序
print(soup.head.next.next)  # 下一层处理次序
print(soup.head.next.next.next)  # 下一层处理次序
# <title>Page title</title>
# Page title
# <body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>

print(soup.head.previous)  # 上一层处理次序
# <html><head><title>Page title</title></head><body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body></html>




搜索

方法含义
def findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)所有匹配元素
def find(self, name=None, attrs={}, recursive=True, text=None, **kwargs)第一个匹配元素
def findNextSiblings(self, name=None, attrs={}, text=None, limit=None, **kwargs)后面所有匹配兄弟节点
def findNextSibling(self, name=None, attrs={}, text=None, **kwargs)后面第一个匹配兄弟节点
def findPreviousSiblings(self, name=None, attrs={}, text=None, limit=None, **kwargs)前面所有匹配兄弟节点
def findPreviousSibling(self, name=None, attrs={}, text=None, **kwargs)前面第一个匹配兄弟节点
def findAllNext(self, name=None, attrs={}, text=None, limit=None, **kwargs)下层所有匹配元素
def findNext(self, name=None, attrs={}, text=None, **kwargs)下层第一个匹配元素
def findAllPrevious(self, name=None, attrs={}, text=None, limit=None, **kwargs)上层所有匹配元素
def findPrevious(self, name=None, attrs={}, text=None, **kwargs)上层第一个匹配元素
def findParents(self, name=None, attrs={}, limit=None, **kwargs)所有匹配父节点
def findParent(self, name=None, attrs={}, **kwargs)第一个匹配父节点

1. 所有匹配

def findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

import re
from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.findAll('b'))  # 提取所有匹配元素
# [<b>one</b>, <b>two</b>]

print(soup.findAll(re.compile('^b')))  # 以b开头
# [<body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>, <b>one</b>, <b>two</b>]

print(soup.findAll(['title', 'p']))  # title和p
# [<title>Page title</title>, <p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

print(soup.findAll({'title': True, 'p': True}))  # 同上，更快
# [<title>Page title</title>, <p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

print(soup.findAll(lambda tag: len(tag.attrs) == 2))  # 传一个返回布尔值的callable对象
print(soup.findAll(lambda tag: len(tag.name) == 1 and not tag.attrs))  # 单个字符的标签名且无属性
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<b>one</b>, <b>two</b>]

print(soup.findAll(align="center"))  # 指定属性筛选
print(soup.findAll(id=re.compile("para$")))  # 可以传字符串，正则表达式，列表，哈希表
print(soup.findAll(align=["center", "blah"]))
print(soup.findAll(align=lambda value: value and len(value) < 5))
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

print(soup.findAll(align=True))  # 匹配有align属性的元素
print(soup.findAll(align=None))  # 匹配无align属性的元素
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<html><head><title>Page title</title></head><body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body></html>, <head><title>Page title</title></head>, <title>Page title</title>, <body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>, <b>one</b>, <b>two</b>]

print(soup.findAll(id=re.compile("para$")))  # 与保留字有冲突时使用attrs参数，传入字典
print(soup.findAll(attrs={'id': re.compile("para$")}))
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

print(soup.findAll(text="one"))  # 匹配内容
print(soup.findAll(text=["one", "two"]))  # 可以传字符串，正则表达式，列表，哈希表
print(soup.findAll(text=re.compile("paragraph")))
print(soup.findAll(text=True))
print(soup.findAll(text=lambda x: len(x) < 12))
# ['one']
# ['one', 'two']
# ['This is paragraph ', 'This is paragraph ']
# ['Page title', 'This is paragraph ', 'one', '.', 'This is paragraph ', 'two', '.']
# ['Page title', 'one', '.', 'two', '.']

print([tag.name for tag in soup.html.findAll()])  # 默认递归遍历
print([tag.name for tag in soup.html.findAll(recursive=False)])  # 不递归遍历
# ['head', 'title', 'body', 'p', 'b', 'p', 'b']
# ['head', 'body']

print(soup.findAll('p', limit=1))  # 最大匹配个数
print(soup.findAll('p', limit=100))  #
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>]
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>]

2. 第一个匹配

def find(self, name=None, attrs={}, recursive=True, text=None, **kwargs)

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.find('p'))  # 提取第一个匹配元素
# <p align="center" id="firstpara">This is paragraph <b>one</b>.</p>

3. 兄弟节点

所有兄弟节点

def findNextSiblings(self, name=None, attrs={}, text=None, limit=None, **kwargs)

一个兄弟节点

def findNextSibling(self, name=None, attrs={}, text=None, **kwargs)

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.find(text='This is paragraph ').findNextSiblings('b'))  # 后面所有匹配兄弟节点
print(soup.find(text='This is paragraph ').findNextSibling(text=lambda text: len(text) == 1))  # 后面第一个匹配兄弟节点
print(soup.find(text='.').findPreviousSiblings('b'))  # 前面所有匹配兄弟节点
print(soup.find(text='.').findPreviousSibling(text=True))  # 前面第一个匹配兄弟节点
# [<b>one</b>]
# .
# [<b>one</b>]
# This is paragraph

4. 上下层

下层所有匹配元素

def findAllNext(self, name=None, attrs={}, text=None, limit=None, **kwargs)

下层第一个匹配元素

def findNext(self, name=None, attrs={}, text=None, **kwargs)

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.find('p').findAllNext(text=True))  # 下层所有含text的元素
print(soup.find('p').findNext('p'))  # 第一个p的下一个p
print(soup.find('p').findNext('b'))  # 第一个p的下一个b
# ['This is paragraph ', 'one', '.', 'This is paragraph ', 'two', '.']
# <p align="blah" id="secondpara">This is paragraph <b>two</b>.</p>
# <b>one</b>

print(soup('p')[-1].findAllPrevious(text=True))  # 上层所有含text的元素
print(soup('p')[-1].findPrevious('p'))
print(soup('p')[-1].findPrevious('b'))
# ['.', 'one', 'This is paragraph ', 'Page title']
# <p align="center" id="firstpara">This is paragraph <b>one</b>.</p>
# <b>one</b>

5. 父节点

所有匹配父节点

def findParents(self, name=None, attrs={}, limit=None, **kwargs)

第一个匹配父节点

def findParent(self, name=None, attrs={}, **kwargs)

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器

print(soup.find('b').findParents())  # 所有匹配父节点
print(soup.find('b').findParent('body'))  # 第一个匹配父节点
# [<p align="center" id="firstpara">This is paragraph <b>one</b>.</p>, <body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>, <html><head><title>Page title</title></head><body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body></html>, <html><head><title>Page title</title></head><body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body></html>]
# <body><p align="center" id="firstpara">This is paragraph <b>one</b>.</p><p align="blah" id="secondpara">This is paragraph <b>two</b>.</p></body>




查找class

传参 class_

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p class="firstpara" align="center">This is paragraph <b>one</b>.</p><p class="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')  # 使用lxml解析器
print(soup(class_='firstpara'))
# [<p align="center" class="firstpara">This is paragraph <b>one</b>.</p>]




美化

prettify()

from bs4 import BeautifulSoup

content = '''<html><head><title>Page title</title></head><body><p id="firstpara" align="center">This is paragraph <b>one</b>.</p><p id="secondpara" align="blah">This is paragraph <b>two</b>.</p></body></html>'''
soup = BeautifulSoup(content, 'lxml')
print(soup.prettify())




解析表格

使用 PrettyTable 库

pip install prettytable

from bs4 import BeautifulSoup
from itertools import zip_longest
from prettytable import PrettyTable

html = '''<html><body>
<table border="1">
  <tr>
    <th>学号</th>
    <th>姓名</th>
  </tr>
  <tr>
    <td>1</td>
    <td>张三</td>
  </tr>
  <tr>
    <td>2</td>
    <td>李四</td>
  </tr>
  <tr>
    <td>3</td>
    <td>王五</td>
  </tr>
</table>
</body>
</html>
'''

soup = BeautifulSoup(html, 'lxml')
th = soup('th')  # 表头
th = [i.string for i in th]
td = soup('td')  # 单元格
td = [i.string for i in td]
td = list(zip_longest(*([iter(td)] * len(th))))  # 根据th的长度分组
print(th)
print(td)

x = PrettyTable()
x.field_names = th  # 表头
for i in td:
    x.add_row(i)  # 添加一行数据
print(x)
# ['学号', '姓名']
# [('1', '张三'), ('2', '李四'), ('3', '王五')]
# +------+------+
# | 学号 | 姓名 |
# +------+------+
# |  1   | 张三 |
# |  2   | 李四 |
# |  3   | 王五 |
# +------+------+

推荐阅读：Python表格美化库PrettyTable中文文档




修改树

推荐阅读：修改剖析树




删除特定class或id

from bs4 import BeautifulSoup

content = '''<html>
<body>
<div id="first" class="d"><p>1</p></div>
<div id="second" class="d"><p>2</p></div>
</body>
</html>'''
soup = BeautifulSoup(content, 'lxml')
for div in soup.find_all('div', {'class': 'd'}):
    div.decompose()
print(soup.prettify())
# <html>
#  <body>
#  </body>
# </html>




报错 bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested

pip install wheel
pip install -U lxml




参考文献

  1. Beautiful Soup: We called him Tortoise because he taught us.
  2. Beautiful Soup 官方文档
  3. Beautiful Soup 中文文档
  4. BeautifulSoup库报错：bs4.FeatureNotFound: Couldnt find a tree builder with the features you requested
  5. Python BeautifulSoup删除具有特定类（class）的div
XerCis
关注
专栏目录
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 54万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
Python之Html解析方法(beautiful soup)
xbean1028的博客
02-09 3633
Python之Html解析方法(beautiful soup) BeautifulSoup的安装及介绍 官方给出的几点介绍： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unico...
python解析html的库_用python解析html
weixin_39633917的博客
12-02 1480
python中，有三个库可以解析html文本，HTMLParser,sgmllib,htmllib。他们的实现方法不通，但功能差不多。这三个库中 提供解析html的类都是基类，本身并不做具体的工作。他们在发现的元件后(如标签、注释、声名等)，会调用相应的函数，这些函数必须重载，因为基类中不 作处理。比如："""AdviceThe IETF admonishes:Be strict in what ...
python解析html标签_python自带的用于解析HTML的库HtmlParser
weixin_39616339的博客
11-28 473
原标题：python自带的用于解析HTML的库HtmlParserHtmlParser，顾名思义，是解析Html的一个工具。python自带的。一、常用属性和方法介绍HtmlParser是一个类，在使用时一般继承它然后重载它的方法，来达到解析出需要的数据的目的。1.常用属性：lasttag，保存上一个解析的标签名，是字符串。2.常用方法：handle_starttag(tag, attrs) ，处...
【JavaScript脚本宇宙】高效Web开发利器：全面解析六大HTML解析器与DOM库
最新发布
记录我的学习历程
07-03 1027
本文详细介绍了六种流行的HTML解析器和DOM操作库，包括htmlparser2、cheerio、jsdom、parse5、linkedom和x-ray。每个工具都有其独特的特点和应用场景，例如htmlparser2的高性能和容错机制，cheerio的jQuery风格语法，jsdom的浏览器环境模拟，parse5的HTML5规范支持，linkedom的轻量级设计，以及x-ray的数据爬取能力。通过对每个工具的简介、特点、用法、应用场景及其优势与局限性的系统讲解，读者可以全面了解这些工具，并根据实际需求进行合
数据解析：Beautiful Soup的使用
旧人小表弟的博客 - 无业游民学习笔记
09-27 521
简介 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是解析和提取 HTML/XML 数据。 lxml只是局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的
python解析html库封装
qq_32394351的博客
11-14 742
python自定义html解析库
Python html解析库
weixin_30906425的博客
04-27 98
1) http://www.crummy.com/software/BeautifulSoup/ 2) pywin32 -- 调用MSHTML接口 转载于:https://www.cnblogs.com/dtozg/archive/2012/04/27/2472972.html
HTML解析库Beautiful Soup.7z
08-03
标题"HTML解析库Beautiful Soup.7z"表明这是一个关于HTML解析的资源，使用了Python中的Beautiful Soup库。Beautiful Soup是Python中非常流行的一个用于解析HTML和XML文档的库，它简化了网页抓取和数据提取的过程。 ...
Python爬虫数据抽取(二)：解析库Beautiful Soup 4
12-21
【Python爬虫数据抽取(二)：解析库Beautiful Soup 4】 在Python的网络爬虫领域，BeautifulSoup是一个不可或缺的工具，它是一个用于解析HTML和XML文档的库，特别适合于数据抽取。BeautifulSoup 4（简称bs4）提供了...
面向新手解析python Beautiful Soup基本用法
09-16
Python的Beautiful Soup库是网页抓取领域中的一个强大工具，尤其适合初学者。它通过提供简洁的API，使得解析HTML和XML文档变得易如反掌。在这个解析库的帮助下，你可以轻松地导航、搜索和修改文档结构，从而提取所需...
python解析html的几种方法
08-19
python解析html的几种方法，lxml，xpath，htmlparser，SGMLParser等操作
BeautifulSoup - Python中第三方的用于解析HTML的库：BeautifulSoup - 转
weixin_34199335的博客
05-23 190
转http://www.crifan.com/python_third_party_lib_html_parser_beautifulsoup/ 背景 在Python去写爬虫，网页解析等过程中，比如： 如何用Python，C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站 常常需要涉及到HTML等网页的解析。 当然，对于简单的HTML中内容的提取，Python内置的正则表达...
python中html解析库使用
诺诺的博客
07-31 1585
python中解析网页常用的两个库 对于新手来说是利器 from bs4 import BeautifulSoup from lxml import etree from bs4 import BeautifulSoup soup=BeautifulSoup(html,'lxml') kuai=sou.select('li.gl-item')#获取内容块 for i in kuai: print(i.select('li.gl-item').text) select方法可以套用获取到块内容时可
HTML 解析库
icanactnow
09-20 571
pyquery 使用 参考 from pyquery import PyQuery as pq from lxml import etree #四种创建对象的方法 doc1 =pq(etree.fromstring(' first section 1111 17-01-28 22:51 second section 2222 17-01-28 22:53 ')) doc2 = pq
Python之html解析
hdxx2022的博客
03-28 205
BeautifulSoup用NavigableString类来封装Tag中的字符串，一个NavigableString字符串与Python中的Unicode字符串相同，通过unicode（）方法可以直接将NavigableString对象转换成Unicode字符串。print(soup.prettify())------>输出soup对象的内容。.stripped_string----->可以去掉字符串中包含的空格或空行。.previous_sibling ----->获取该节点的上一个兄弟节点。
Python解析html网页，掌握这4种方法就够了
xyh2004的博客
06-08 2853
在探索Python解析HTML网页的多样化途径中，本文综述了四大主流库的运用：BeautifulSoup以其直观的API和易用性成为初学者优选；lxml凭借C语言库的绑定 ，在速度和功能完整性上占据优势，特别适合XML和XPath重度用户；PyQuery则以类似jQuery的语法吸引了熟悉前端开发者的青睐；而requests-HTML库 ，通过异步渲染和自动处理JavaScript，高效应对动态网页抓取。每种方法各有千秋，选择最佳工具需依据具体需求：静态内容提取倾向BS或PyQuery
关于BeautifulSoup
x_jiax的博客
05-12 278
使用 BeautifulSoup构建一个 BeautifulSoup 对象需要两个参数，第一个参数是将要解析的 HTML 文本字符串，第二个参数告诉 BeautifulSoup 使用哪个解析器来解析 HTML。...
python解析html
wulong710的专栏
11-09 207
用HTMLParser解析html 参考：https://www.cnblogs.com/liuhaidon/archive/2019/12/18/12060184.html ''' Description: Author: pdh Date: 2020-11-09 11:52:39 LastEditors: pdh LastEditTime: 2020-11-09 15:37:57 FilePath: \html_mp3\down.py ''' # coding=utf-8 import re
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XerCis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值