BS4模块简介

最新推荐文章于 2024-02-02 06:09:09 发布

qq_43279936

最新推荐文章于 2024-02-02 06:09:09 发布

阅读量2.4k

点赞数

本文链接：https://blog.csdn.net/qq_43279936/article/details/88192810

版权

BS4 ：（beautiful soup 4）是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

应用BS4进行HTML网页内容的读取

import re

from bs4 import BeautifulSoup
html = """
<html>
<head><title>story12345</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><span>westos</span><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister1" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html, 'html.parser')
# 根据格式化， 如果title只有一个， 根据标签可以获取
print(soup.title)
# print(type(soup.title))
# print(soup.title.name)  # 标签的名称

# 获取标签里面的属性信息
print(soup.a.attrs)
print(soup.a.attrs['href'])
#get方法用于得到标签下的属性值，注意这是一个重要的方法，在许多场合都能用到，比如你要得到<img src=”#”>标签下的图像url,那么就可以用soup.img.get(‘src’)
print(soup.a.get('href'))
print(soup.a.get('class'))
# string得到标签下的文本内容，只有在此标签下没有子标签，或者只有一个子标签的情况下才能返回其中的内容，否则返回的是None;
# get_text()可以获得一个标签中的所有文本内容，包括子孙节点的内容，这是最常用的方法
print(soup.a.string)    # 标签里面的内容
print(soup.a.get_text())
# 查找符合条件的所有标签;
aTagObj =  soup.find_all('a')
print(aTagObj)
for item in aTagObj:
    print(item)
#  需求: 获取所有的a标签， 并且类名为"sister"
aTagObj = soup.find_all('a', class_="sister")
print(aTagObj)

# 3. 根据内容进行匹配
print(soup.find_all(text="story"))
print(soup.find_all(text=re.compile('story\d+')))
# 1. 返回符合条件的第一个标签内容
print(soup.title)
print(soup.p)  #只打印第一个标签内容
print(soup.find('p', class_=re.compile(r'^ti.*?')))
# 2. 返回符合条件的所有标签内容
print(soup.find_all('p'))
print(soup.find_all('p', class_='title', text=re.compile(r'.*?story.*?')))
# 3. 获取符合条件的p标签或者a标签
print(soup.find(['title', 'a'])) #返回title标签或者a标签及其内容,但是那个标签在前面就返回那个标签
print(soup.find_all(['title', 'a']))#返回所有title标签和a标签及其内容
print(soup.find_all(['title', 'a'], class_=['title', 'sister']))
# 4. CSS匹配
# 标签选择器
print(soup.select("title"))
# 类选择器(.类名)
print(soup.select(".sister"))
# id选择器(#id名称)
print(soup.select("#link1"))
# 此处不支持正则表达式;
# print(soup.select(re.compile("#link\d+")))
# 属性选择器()
print(soup.select("input[type='password']"))
# 标签选择器
print(soup.select("title"))
# 类选择器(.类名)
print(soup.select(".sister"))
# id选择器(#id名称)
print(soup.select("#link1"))
# 属性选择器()
print(soup.select("input[type='password']"))