21天Python学习——爬虫解析器BeautifulSoup4

最新推荐文章于 2023-04-23 11:38:37 发布

谷藿崽

最新推荐文章于 2023-04-23 11:38:37 发布

阅读量195

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/weixin_61344746/article/details/126433638

版权

python 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

活动地址：CSDN21天学习挑战赛

一、BeautifulSoup4库

1、介绍

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

2、下载模块

cmd 中输入 pip install beautifulsoup4

3、导包

form bs4 import BeautifulSoup

二、基本操作

1、读取HTML字符串

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel_body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div> 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

2、读取HTML文件:

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel_body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div> 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

3、基本方法

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel_body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div> 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

# 缩进格式
print(soup.prettify())

# 获取title标签的所有内容
print(soup.title)

# 获取title标签的名称
print(soup.title.name)

# 获取title标签的文本内容
print(soup.title.string)

# 获取head标签的所有内容
print(soup.head)

# 获取第一个div标签中的所有内容
print(soup.div)

# 获取第一个div标签的id的值
print(soup.div["id"])

# 获取第一个a标签中的所有内容
print(soup.a)

# 获取所有的a标签中的所有内容
print(soup.find_all("a"))

# 获取id="u1"
print(soup.find(id="u1"))

# 获取所有的a标签，并遍历打印a标签中的href的值
for item in soup.find_all("a"):
    print(item.get("href"))

# 获取所有的a标签，并遍历打印a标签的文本值
for item in soup.find_all("a"):
    print(item.get_text())

三、对象种类

（1）Tag：HTML中的标签

soup = BeautifulSoup('<b class="boldest">Extremely bold</b>','lxml')
tag = soup.b
print(tag)
print(type(tag))

结果：

<b class="boldest">Extremely bold</b>
<class 'bs4.element.Tag'>

Tag中属性（最重要的name和attributes）

name:

print(tag.name)
# 输出结果：b
# 如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
tag.name = "b1"
print(tag)
# 输出结果：<b1 class="boldest">Extremely bold</b1>

attributes:

# 取clas属性
print(tag['class'])

# 直接”点”取属性, 比如: .attrs :
print(tag.attrs)

tag的属性可以被添加、修改和删除：

# 添加 id 属性
tag['id'] = 1

# 修改 class 属性
tag['class'] = 'tl1'

# 删除 class 属性
del tag['class']

（2）NavigableString：用.string获取标签内部文字：

print(soup.b.string)

print(type(soup.b.string))

（3）BeautifulSoup：表示的是一个文档的内容，可以获取它的类型，名称，以及属性：

print(type(soup.name))
# <type 'unicode'>

print(soup.name)
# [document]

print(soup.attrs)
# 文档本身的属性为空

（4）Commengt：是一个特殊类型的NavigableString对象，其输出的内容不包括注释符号：

print(soup.b)

print(soup.b.string)

print(type(soup.b.string))

四、搜索文档树

1、find_all(name, attrs, recursive, text, **kwargs)

（1）name参数：可以查找所有名字为name的tag, 字符串对象会被自动忽略掉

匹配字符串：查找与字符串完整匹配的内容，用于查找文档中所有的<a>标签

a_list = soup.find_all("a")
print(a_list)

匹配正则表达式:如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的match()来匹配内容

# 返回所有表示<body>和<b>标签
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)

匹配列表:如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回

# 返回所有所有<p>标签和<a>标签:
soup.find_all(["p", "a"])

(2) kwargs参数

soup.find_all(id='link2')

(3) text参数:通过text参数可以搜搜文档中的字符串内容，与name参数的可选值一样, text 参数接受字符串,正则表达式,列表

# 匹配字符串
soup.find_all(text="a")

# 匹配正则
soup.find_all(text=re.compile("^b"))

# 匹配列表
soup.find_all(text=["p", "a"])

谷藿崽

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
21天Python学习——爬虫解析器BeautifulSoup4

21天Python学习——爬虫解析器BeautifulSoup4
复制链接

扫一扫

专栏目录

21天Python学习——爬虫解析器BeautifulSoup4

“相关推荐”对你有帮助么？