目录
一、BeautifulSoup的简介:
1、Beautiful Soup就是Python的一个HTML或XML的解析库,它借助网页的结构和属性等特性来解析网页。
2、有了它,我们不用再去写一些复杂的正则表达式,只需要简单的几条语句,就可以完成网页中某个元素的提取。
3、官方解释如下:
Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。
它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
4、Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为UTF-8编码。
二、实例代码演示:
节点选择器可以像使用对象属性一样获取节点信息,如soup.title.name用于获取title节点的名字。
1、获取title的name,文本。
2、获得li节点的所有属性值或者某个具体的属性值。
3、获得a节点的文本。
from bs4 import BeautifulSoup
html = '''
<html>
<head>
<title>获取节点信息</title>
</head>
<body>
<div>
<ul>
<li class="item1" value1="1234" value2 = "hello world"><a href="https://geekori.com"> geekori.com</a></li>
<li class="item"><a href="https://www.jd.com"> 京东商城</a></li>
</ul>
<button id="button1">确定</button>
<ul>
<li class="item3"><a href="https://www.taobao.com">淘宝</a></li>
<li class="item" ><a href="https://www.microsoft.com">微软</a></li>
<li class="item2"><a href="https://www.google.com">谷歌</a></li>
</ul>
</div>
</body>
'''
soup = BeautifulSoup(html,'lxml') # 第二个参数是搜索引擎类型,lxml比较快。
# 获得title的name
print(soup.title.name)
# 获得title的文本
print(soup.title.text)
# 获得li节点的所有属性值
print(soup.li.attrs)
# 获得li节点的某个具体的属性值
print(soup.li.attrs['value2'])
print(soup.li['value1'])
# 获得a节点的文本
print(soup.a.text)
print(soup.a.string)
执行结果如下图: