Python beautifulsoup解析本地文件之基础语法

java1234_小锋

于 2023-10-29 20:48:13 发布

阅读量272

点赞数 1

分类专栏： Python 文章标签： python beautifulsoup 爬虫 python爬虫

本文链接：https://blog.csdn.net/caoli201314/article/details/134107691

版权

Python 专栏收录该内容

256 篇文章 50 订阅

订阅专栏

本文详细讲解了如何使用Python的requests和BeautifulSoup库进行基础的网页抓取，涉及HTML解析、DOM操作和CSS选择器的运用。

摘要由CSDN通过智能技术生成

视频版教程：一天掌握python爬虫【基础篇】涵盖 requests、beautifulsoup、selenium

beautifulsoup支持解析本地文件和网络文件，需要注意的是在实例化 BeautifulSoup 对象时，“html.parser” 是一个解析器，用于解析 HTML 代码，可以使用其他解析器，如 lxml、html5lib 等

通过 bs4 对象，可以使用多种方式来获取 HTML 中的元素信息，包括标签名、属性、文本等。

首先准备一个测试文件test.html

<html>
<head>
    <meta charset="utf-8">
    <title>python222-这是一个示例文档</title>
</head>
<body>
<p id="p1" class="content">这是一个段落。</p>
<div>
    <ul class="list">
        <li class="item">列表项1</li>
        <li class="item" id="l2">列表项2</li>
        <li class="item" id="l3">列表项3</li>
        <a href="http://www.java1234.com" class="c1">java1234</a>
    </ul>
</div>
<a href="http://www.python222.com" target="_blank" class="c2">python222</a>
<div id="d1">
    <span>
        测试内容
    </span>
</div>
</body>
</html>

bs4常用方法有find(),find_all(),select()

方法	描述
.find_all()	查找所有符合条件的元素
.find()	查找第一个符合条件的元素
.select()	使用 CSS 选择器查找元素
.children	获取当前标签的直接子元素
.descendants	获取当前标签的所有子孙节点
.parent	获取当前标签的父节点
.parents	获取当前标签的所有祖先节点
.next_sibling	获取下一个同级标签
.previous_sibling	获取上一个同级标签
.next_siblings	获取后续所有同级标签
.previous_siblings	获取前序所有同级标签
.has_attr()	判断元素是否含有某个属性

bs4支持DOM标签选择器，属性选择前，层级选择器等，以及获取元素属性和节点内容

测试代码：

from bs4 import BeautifulSoup

# 默认打开的文件编码是gbk，我们需要设置编码
soup = BeautifulSoup(open('test.html', encoding='utf-8'), 'lxml')

# 根据标签名查找DOM节点 找到是第一个符合条件的DOM节点
# DOM DOM值  DOM标签名
print(type(soup.a), soup.a, soup.a.name)
# 获取标题的属性和属性值
print(type(soup.a.attrs), soup.a.attrs['href'])

# 获取标签内容
print(soup.p.string)

# bs4的一些常用方法
# 查找第一个符合条件的元素，支持属性条件
print(soup.find('a'))
print(soup.find('a', target="_blank"))
# class属性特殊点 关键字，所以加个下划线
print(soup.find('a', class_="c2"))

# find_all 返回一个列表
print(soup.find_all('a'))
print(soup.find_all(['a', 'p']))  # 获取多个DOM
print(soup.find_all('li', limit=2))

# select方法,使用 选择器查找元素 返回一个列表
print(soup.select('a'))  # 根据标签选择器
print(soup.select('.c2'))  # 根据类选择器
print(soup.select('#l2'))  # 根据id选择器

# 属性选择器
print(soup.select('li[id]'))  # 查找li标签中有id的DOM
print(soup.select('li[id="l3"]'))  # 查找li标签中id=l3的DOM

# 层级选择器
print(soup.select('div li'))  # 后代选择器 包括儿子和孙子等后代 多个标签名之间用空格
print(soup.select('div > ul > li'))  # 子代选择器 仅限儿子这代 多个标签名之间用 >
print(soup.select('li,p'))

# 获取节点信息
obj = soup.select('#d1')[0]
# 如果标签对象中，只有内容，那么string,get_text()都可以使用
# 如果标签对象中，除了内容还有标签，那么string就获取不到数据 而get_text()是可以获取数据
print(obj.string)
print(obj.get_text().strip())

# 节点属性获取
obj = soup.select('#p1')[0]
print(obj.name)  # 获取标签名
print(obj.attrs)  # 返回属性 字典类型
print(obj.attrs['id'])  # 获取属性值
print(obj['id'])  # 简写
print(obj.attrs.get("class")[0])  # 获取属性值
print(obj.get("class")[0])  # 简写