解析库的学习小结(2)bs4学习

最新推荐文章于 2023-07-17 22:44:13 发布

xytwo

最新推荐文章于 2023-07-17 22:44:13 发布

阅读量138

点赞数

分类专栏：解析库文章标签： bs4 BeautifulSoup

本文链接：https://blog.csdn.net/qq_43533532/article/details/86699715

版权

解析库专栏收录该内容

3 篇文章 0 订阅

订阅专栏

BeautifulSoup

解析器	使用方法
python标准库	BeautifulSoup(markup, “html.parser”)
lxml HTML解析器	BeautifulSoup(markup, “lxml”)
lxml XML解析器	BeautifulSoup(markup, “xml”)
html5lib	BeautifulSoup(markup, “html5lib”)

soup.prettify()方法可以进行格式化输出

# 案例模板
html = """
<html><head><title>The Dormouse's story</title></head >
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b>
Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="linkl"><span>Elsie</span></a>and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
print(soup.prettify()) # 格式化输出
print(soup.title) # 打印title节点信息
print(type(soup.title)) # 输出它的类型
print(soup.title.string) # .string输出文本内容
print(soup.head) # 打印head节点信息
print(soup.a) # 第一个p节点

一. 提取信息

使用.name属性获取节点名称
print(soup.title.name) # 打印输出title名称
使用.attrs获取属性

print(soup.p.attrs['name']) # 输出p节点的name属性
print(soup.p['name']) # 更加简单的书写方式

使用.string获取内容或者.get_text()
print(soup.p.string) # 输出第一个p节点的文本内容

二. 嵌套选择

html = """
<html><head><title>The Dormouse's story</title></head >
<body>
"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
print(soup.head.title) # 嵌套调用title
print(type(soup.head.title)) # 输出类型
print(soup.head.title.string) # 输出文本内容

三. 关联选择

子节点和子孙节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 获取直接子节点contents方法
print(soup.p.contents)

# children方法获取直接子节点
print(soup.p.children)
for i, child in enumerate(soup.p.children):
    print(i, child) # 返回结果是生成器类型

# descendants属性获取子孙节点
print(soup.p.descendants)
for i, child in enumerate(soup.p.descendants):
    print(i, child)

父节点和祖先节点

方法	描述
`.parent`	获取直接父节点内容
`.parents`	获取所有祖先节点

兄弟节点

方法	作用
`.next_sibing`	获取当前节点的下一个兄弟元素
.`previous_sibling`	获取当前节点的上一个兄弟元素
`.next_siblings`	获取当前节点后面所有兄弟节点的是生成器
`.previous_siblings`	获取当前节点前面所有兄弟节点的是生成器

提取信息

方法	描述
`.string`	获取文本信息
`.attrs`	获取对应属性

四. 方法选择器

find_all(name, attrs, recursive, text, **kwargs)

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

html = '''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div >
</div>
'''

name使用节点名查询

# 以列表形式输出参数值为ul的所有ul节点
print(soup.find_all(name='ul'))

# 返回选取的类型<class 'bs4.element.Tag'>
print(type(soup.find_all(name='ul')[0]))

# 嵌套循环ul节点下面的li节点
for ul in soup.find_all(name='ul'):
	print(ul.find_all(name='li'))
	for li in ul.find_all(name='li'):
		print(li.string)

.attrs
通过传入属性查询，传入参数的类型是字典类型

# 查询id为list-2的节点
print(soup.find_all(attrs={'id': 'list-2'}))
# 查询name值为elements的节点
print(soup.find_all(attrs={'name': 'elements'}))

# 简写，对于常见属性可以不写attrs
print(soup.find_all(id='list-1'))

# 对于class属性，因为在python里面是一个关键字，需要加一个下划线
print(soup.find_all(class_='element'))

text
text参数可用来匹配节点的文本，传入的形式可以是字符串，可以是正则表达式对象

import re
from bs4 import BeautifulSoup
html = '''
<div class="panel">
<div class="panel-body">
<a>Hello, this is a link</a >
<a>Hello, this is a link, too</a>
</div >
</div>
'''

soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(text=re.compile('link')))

方法	描述
`find_all()`	以列表形式返回所有匹配的元素
`find()`	返回匹配符合第一个的元素
`find_parents()`	返回所有的祖先节点
`find_parenr()`	返回直接父节点
`find_next_siblings()`	返回后面所有的兄弟节点
`find_next_sibling()`	返回后面第一个兄弟节点
`find_previous_siblings()`	返回前面所有的兄弟节点
`find_previous_sibling()`	返回前面第一个兄弟节点
`find_all_netx()`	返回节点后所有符合条件的节点
`find_next()`	返回节点后第一个符合条件的节点
`find_all_previous()`	返回节点前所有符合条件的节点
`find_previous()`	返回节点前第一个符合条件的节点

五. CSS选择器

使用css选择器，调用select()方法，传人相应的css选择器

xytwo

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
解析库的学习小结(2)bs4学习

BeautifulSoup解析器使用方法python标准库BeautifulSoup(markup, “html.parser”)lxml HTML解析器BeautifulSoup(markup, “lxml”)lxml XML解析器BeautifulSoup(markup, “xml”)html5libBeautifulSoup(markup, “...
复制链接

扫一扫