数据解析-bs4

1、介绍

‌**BeautifulSoup**‌是一个Python库，专门用于从HTML或XML文件中提取数据。它提供了一个简单而灵活的方式来遍历和搜索文档树，以及解析和提取所需的数据。BeautifulSoup支持Python标准库中的Html解析器，还支持一些第三方解析器，使得用户可以方便地实现网页信息的提取，而无需编写复杂的正则表达式。这个库的设计哲学是“简单易用”，通过Python式的函数和方法，使得处理HTML文档变得直观和简单。

2、安装

• pip install beautifulsoup4 # 安装bs4

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, "html.parser")	Python的内置标准库执行速度适中文档容错能力强	Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, "lxml")	速度快文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, ["lxml-xml"])``BeautifulSoup(markup, "xml")	速度快唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, "html5lib")	最好的容错性以浏览器的方式解析文档生成HTML5格式的文档	速度慢不依赖外部扩

3、通过节点获取

from bs4 import BeautifulSoup

soup = BeautifulSoup('<p class="p_class" id="p_id"><b>我是b标签</b></p>', 'lxml')
# 获取整个p标签的html代码
print(soup.p)
print("-" * 20)

# 获取b标签
print(soup.p.b)
print("-" * 20)

# 获取p标签内容,或者使用get_text()
print(soup.p.text)
print("-" * 20)
# 获取p标签的class属性
print(soup.p.get("class"))
print("-" * 20)

# 返回一个字典，里面是多有属性和值
print(soup.p.attrs)
print("-" * 20)

# 查看返回的数据类型
print(type(soup.p))
print("-" * 20)

# 根据属性，获取标签的属性值，返回值为列表
print(soup.p['class'])
print("-" * 20)

4、解析步骤

1、导入模块

from bs4 import BeautifulSoup

2、实例化对象

soup = BeautifulSoup(text, "lxml")

3、提取数据

from bs4 import BeautifulSoup

text = """
<li>
            <div class="item">
                <div class="pic">
                    <em class="">1</em>
                    <a href="https://movie.douban.com/subject/1292052/">
                        <img width="100" alt="肖申克的救赎" src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.webp" class="">
                    </a>
                </div>
                <div class="info">
                    <div class="hd">
                        <a href="https://movie.douban.com/subject/1292052/" class="">
                            <span class="title">肖申克的救赎</span>
                                    <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
                                <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
                        </a>


                            <span class="playable">[可播放]</span>
                    </div>
                    <div class="bd">
                        <p class="">
                            导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
                            1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情
                        </p>

                        
                        <div class="star">
                                <span class="rating5-t"></span>
                                <span class="rating_num" property="v:average">9.7</span>
                                <span property="v:best" content="10.0"></span>
                                <span>3063824人评价</span>
                        </div>

                            <p class="quote">
                                <span class="inq">希望让人自由。</span>
                            </p>
                            

    <p>
        
        <span class="gact">
            <a href="https://movie.douban.com/wish/283478165/update?add=1292052" target="_blank" class="j a_collect_btn" name="sbtn-1292052-wish" rel="nofollow">想看</a>
        </span>&nbsp;&nbsp;
        
        <span class="gact">
            <a href="https://movie.douban.com/collection/283478165/update?add=1292052" target="_blank" class="j a_collect_btn" name="sbtn-1292052-collection" rel="nofollow">看过</a>
        </span>&nbsp;&nbsp;
    </p>

                    </div>
                </div>
            </div>
        </li>
"""

# 获取所有span标签
soup = BeautifulSoup(text, "lxml")

• 1、获取所有标签

# 获取所有span标签
spans = soup.find_all("span")
for i in spans:
    print(i)

• 2、获取指定标签

# 获取指定的span标签
span = soup.find_all("span")[8]
print(span)

• 3、获取指定属性的标签

# 获取指定属性的标签，两种方式

# 直接传参
span_title = soup.find_all("span",id="title")
print(span_title)

# 通过字典传参
span_9 = soup.find_all('span', attrs={"class": "inq"})
print(span_9)

• 4、获取多个属性值标签

# 获取多个属性值标签
span_title_one = soup.find_all("span",id="title", class_="title")

span_title_two = soup.find_all('span', attrs={
    "id": "title",
    "class": "title"
})

print(span_title_one, span_title_two)

# 若有多个属性，继续传参即可，若遇到与python解释器关键字冲突的时候加上下划线即可，推荐使用字典传参

• 5、获取标签属性值

# 获取标签属性值

# 索引列表获取
a_list = soup.find_all("a")
for a in a_list:
    url = a["href"]
    print(url)
    
# 利用attrs参数提取
for a in a_list:
    url = a.attrs["href"]
    print(url)

• 6、获取标签内信息

# 获取标签内信息
spans = soup.find_all("span")
for i in spans[:1]:
    p = i.string
    print(p)