python爬虫（三）-------BeautifulSoup

最新推荐文章于 2024-07-19 16:36:18 发布
最新推荐文章于 2024-07-19 16:36:18 发布
阅读量721 收藏
点赞数 1
文章标签： python 爬虫 beautifulsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_70761095/article/details/128891807
版权

BeautifulSoup

是一个高效的网页解析库，可以从HTML或XML文件中提取数据

支持不同的解析器，比如，对HTML解析，对XML解析，对HTML5解析

就是一个非常强大的工具，爬虫利器

一个灵感又方便的网页解析库，处理高效，支持多种解析器

利用它就不用编写正则表达式也能方便的实现网页信息的抓取

解析库

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup, "html.parser")Python的内置标准库、执行速度适中 、文档容错能力强Python 2.7.3 or 3.2.2)前的版本中文容错能力差
lxml HTML 解析器BeautifulSoup(markup, "lxml")速度快、文档容错能力强需要安装C语言库
lxml XML 解析器BeautifulSoup(markup, "xml")速度快、唯一支持XML的解析器需要安装C语言库
html5libBeautifulSoup(markup, "html5lib")最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档速度慢、不依赖外部扩展

安装

pip install BeautifulSoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库

pip install lxml

lxml 是一种使用 Python 编写的解析库，可以迅速、灵活地处理 XML 和 HTML

一、基本使用 

1.1 标签选择器

1.1.1 .string --获取文本内容

h = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
    <p class="title" name="dromouse"><b><span>The Dormouse's story</span></b></p>
    <p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
    and they lived at the bottom of a well.</p>
    <p class="story">...</p>
"""

# 1，导包
from bs4 import BeautifulSoup 
#,2，实例化对象
soup = BeautifulSoup(h, 'lxml')  # 参数1：要解析的内容  参数2：解析器

# 通过标签选取，会返回包含标签本身及其里面的所有内容
print(soup.head) # 包含head标签在内的所有内容
print(soup.p) # 返回匹配的第一个结果

# .string是属性,作用是获取字符串文本
print(soup.title.string)

1.1.2 .name --获取标签本身名称

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

print(soup.title.name)  # 结果为标签本身名称  --> title
print(soup.p.name)  # --> 获取标签名

1.1.3 .attrs[] --通过属性拿属性的值

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title asdas" name="abc" id = "qwe"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/123" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>|
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# print(soup.p.attrs['name'])# 获取p标签name属性的属性值
# print(soup.a.attrs['href']) # 获取p标签id属性的属性值

#第二种写法
print(soup.p['id']) 
print(soup.p['class']) # 以列表得形式保存
print(soup.a['href'])  # 也是只返回第一个值

1.2 标准选择器

find_all( name , attrs , recursive , text , **kwargs )

可根据标签名、属性、内容查找文档

1.2.1 使用find_all()根据标签名查找

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo-2</li>
            <li class="element">Bar-2</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

print(soup.find_all('ul'))  # 拿到所有ul标签及其里面内容
# print(soup.find_all('ul')[0])

1.2.2 get_text() 获取内容

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo-2</li>
            <li class="element">Bar-2</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

print(soup.find_all('ul'))  # 拿到所有ul标签及其里面内容
# print(soup.find_all('ul')[0])


for ul in soup.find_all('ul'):
#     print(ul)
    print(ul.get_text())   #获取内容

1.2.3 使用find_all()根据属性查找

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 特殊属性查找
# print(soup.find_all(class='element'))  #  注意：错误案例
# a = soup.find_all(class_='element')  # class属于Python关键字，做特殊处理 _
print(a) 


# 推荐的查找方法！！！   --- 指定标签和属性
# print(soup.find_all('li',{'class':'element'}))  
print('----'*10)
# print(soup.find_all('ul',{'id':'list-1'}))

print(soup.find_all('ul',{'class':'list list-small'}))

1.2.4 text=() 根据文本值选择

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 语法格式：text='要查找的文本内容'
print(soup.find_all(text='Foo')) # 可以做内容统计用

print(len(soup.find_all(text='Foo'))) # 统计数量

find( name , attrs , recursive , text , **kwargs )

find返回单个元素，find_all返回所有元素

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find('ul')) # 只返回匹配到的第一个
# print('---------'*5)
print(soup.find('page')) # 如果标签不存在返回None

1.3 css选择器

介绍：

1，类别选择器 -- class
2，标签选择器 -- <p></p> 
3，ID选择器  -- id

详情了解：百度百科-验证百度百科是一部内容开放、自由的网络百科全书，旨在创造一个涵盖所有领域知识，服务所有互联网用户的中文知识性百科全书。在这里你可以参与词条编辑，分享贡献你的知识。https://baike.baidu.com/item/css%E9%80%89%E6%8B%A9%E5%99%A8/2819686?fr=aladdin

使用：

通过select()直接传入CSS选择器即可完成选择

如果对HTML里的CSS选择器很熟悉可以考虑用此方法

注意：

1，用CSS选择器时，标签名不加任何修饰，class类名前加. , id名前加# 

2，用到的方法是soup.select()，返回类型是list

3，多个过滤条件需要用空格隔开,严格遵守从前往后逐层筛选

 

html='''
<div class="pan">q321312321</div>
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 根据标签去找 标签不加任何修饰 多个条件用空格隔开
# print(soup.select('ul li'))  
# print("----"*10)

# class类名前加.  
# print(soup.select('.panel-heading'))
# print("----"*10)

# 多个条件用空格隔开
print(soup.select('ul.list')) 
# print(soup.select('ul.list.list-small')) 
# print(soup.select('ul .element')) 
# print("----"*10)

# 注意：可以混合使用！！
# 比如：根据id和class去找
# a = soup.select('#list-1 .element')#从这个例子可以看出.select方法会获取满足条件的所有内容
# print(a)

# for i in a:
#     print(i)
#     print(i.string)
    
# b = soup.select('#list-2')#从这个例子可以看出.select方法会获取满足条件的所有内容
# print(b)  
# for i in b:
#     print(i)
#     print(i.get_text())

1.3.1 获取属性的值

两种写法：

1，ul['id']

2，ul.attrs['id']

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# s = soup.select('#list-2')  # 案例演示
# print(s)

for ul in soup.select('#list-2'):
    print(ul)
    print(ul['id'])
    print(ul['class']) 

    print(ul.attrs['id'])
    print(ul.attrs['class']) 
#以上只是展示两种不同写法

二、总结

  • 推荐使用lxml解析库
  • 标签选择筛选功能弱但是速度快
  • 建议使用find()、find_all() 查询匹配单个结果或者多个结果
  • 如果对CSS选择器熟悉建议使用select()
  • 记住常用的获取属性和文本值的方法
零度℃192
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python 无头模式 绕过检测_python爬虫反反爬虫有绝技，轻松绕开百度人机验证！...
weixin_39522312的博客
12-10 2991
你可能已经了解到了无头浏览器的作用以及使用的方法，那么本篇文章就让我们一起用无头浏览器做点事情。是的你没有看错，我们要“搞”的对象就是百度指数这个网站，不知道你平时是否会应用到这里面的数据呢？今天的主要目标就是使用无头浏览器登录百度指数网站，并且绕开它的人机验证，不知道你发现没有，当我们人为正常登录这个网站的时候就不会出现字母、数字或者汉字验证码，而使用无头浏览器登录的时候就会出现这些验证码，闲言...
Python爬虫-BeautifulSoup
有关心情
06-13 1675
Python爬虫-BeautifulSoup Python爬虫-BeautifulSoup “美丽汤”的爱恨 使用 爱丽丝文档示例 标签 遍历 find(),findAll() 综合使用 支持正则 CSS选择器 “美丽汤”的爱恨 前边说偏爱xpath，在于操作简单，解析速度较快。但不可否认：BeautifulSoup比xpath稳定。但凡网页的标签顺序发生变化（增删改），...
【Python爬虫】BS4（BeautifulSoup）常用属性及函数
TKK的博客
01-07 4260
隔离生活 Day 1 【Python爬虫】BS4（BeautifulSoup）常用属性及函数 文章目录【Python爬虫】BS4（BeautifulSoup）常用属性及函数一、获取标签1. soup.tagName2. soup.find(tagName)2.1 soup.find(tagName, class_/id/attr)3. soup.find_all(tagName)4. soup.select(css_selector)二、获取文本数据1. tag.text和tag.get_text()2.
python 爬虫 提取文本之BeautifulSoup详细用法
IT_arookie的博客
09-23 3万+
提取 网页内容 四大基本方法之 2.beautifulsoup的使用 bs4模块 准备代码信息，用来练习获取内容: from bs4 import BeautifulSoup #准备代码信息，用来练习获取内容 html =''' &amp;lt;html&amp;gt; &amp;lt;head&amp;gt;&amp;lt;title&amp;gt;The Dormouse's story&amp;lt;/title&amp;
Python爬虫实战（Requests+BeautifulSoup版）
07-18
本课程是一个Python爬虫实战课程，课程主要使用Requests+BeautifulSoup实现爬虫，课程包括五个部分：第一部分：CSS选择器，主要讲解类选择器，ID选择器，标签选择器，伪类和伪元素，以及组合选择器等。第二部分：Python正则表达式，主要讲解Python对正则表达式的支持，匹配单字符、匹配多字符、匹配开头结尾、匹配分组、search、findall、sub、split 等方法以及贪婪和非贪婪匹配。 第三部分：Requests框架，主要讲解如何发送请求，如何获得响应结果、Cookie、Session、超时和代理的处理 第四部分：BeautifulSoup框架 ， 主要讲解遍历文档、搜索文档和修改文档。 第五部分：项目，通过爬取博客园博客文章融汇贯通的运用了所学内容。
Python Beautiful Soup教程-节点选择器之关联选择的方法
ares_beyong的博客
11-18 4559
系列文章目录 Beautiful Soup教程-简介及安装 Beautiful Soup教程-基本使用 Beautiful Soup教程-认识选择器 Beautiful Soup教程-节点选择器之选择元素的方法 Beautiful Soup教程-节点选择器之提取信息的方法 Beautiful Soup教程-节点选择器之嵌套选择的方法 文章目录系列文章目录前言节点选择器——关联选择的方法1. 关联选择1. 子节点2. 子孙节点3. 父节点4. 祖先节点5. 兄弟节点2. 总结 前言 Beautiful
python 自己写爬虫 ----- BeautifulSoup
Hani的 编程生活
07-23 464
html  -----  获取了 源链接的  html  soup =  BeautifulSoup( html )  ----- 获得BeautifulSoup对象 获得特定标签或有着特定属性的标签：       titleTag = soup.html.head.title 输出： #理财顾问招聘-信泽联合基金招聘-拉勾网 title_tag =  soup.html.
python爬虫教学-python爬虫
02-20
Python爬虫教学是一个针对初学者和有一定编程基础的开发者设计的教程，旨在教授如何使用Python进行网络数据抓取。在互联网上，数据无处不在，而Python爬虫可以帮助我们自动化地获取这些数据，用于数据分析、研究或...
Python-python爬虫由浅入深
08-10
《Python Python爬虫由浅入深》 Python作为一门易学且功能强大的编程语言，尤其在Web爬虫领域，有着广泛的应用。Web爬虫是一种自动提取网页信息的程序，它能够帮助我们批量获取网络上的数据，进行数据分析、信息...
Python-掘金文章爬虫
08-12
通过阅读和学习这些代码，可以深入了解Python爬虫的实现方式，以及如何针对性地解决特定网站的爬取问题。同时，也可以根据需求对代码进行扩展，例如增加对评论、点赞等其他数据的抓取，或者优化爬虫性能。
python爬虫资源 - 免费下载
03-20
本文将对 Python 爬虫资源进行详细的介绍，包括 Python 爬虫的基本概念、requests 库的使用、BeautifulSoup 库的使用、XPath 解析方法等。 Python 爬虫的基本概念 Python 爬虫是使用 Python 语言来实现的网络爬虫...
python爬虫python-financial.rar
05-30
Python爬虫在金融领域的应用是广泛的，特别是在数据分析、市场监控和投资决策支持方面。这个名为"python-financial.rar"的压缩包很可能包含了用于处理金融数据的Python爬虫代码和相关资源。下面，我们将深入探讨...
爬虫工具-BeautifulSoup
qq_48051316的博客
11-16 765
爬虫工具-BeautifulSoup
Python爬虫——解析常用三种方式之BeautifulSoup
DDDDWJDDDD的博客
03-04 493
解析常用三种方式之BeautifulSoup，使用bs4爬取茶百道官网新品图片以及对应名称
Beautifulsoup查找标签及属性值
热门推荐
Lizejin961019的博客
04-15 3万+
一、 查找a标签 （1）查找所有a标签 复制代码 for x in soup.find_all(‘a’): print(x) Elsie Lacie Tillie 复制代码 （2）查找所有a标签，且属性值href中需要保护关键字“” for x in soup.find_all(‘a’, attrs={“class” :re.compile(‘lacie’)} ): print(...
爬虫-百度百科
lzjansing的专栏
10-25 1846
本文是基于慕课网教程（http://www.imooc.com/learn/563）编写的。讲师非常棒，把爬虫的架构思想讲得简单易懂，最后实现了一个爬取百度百科内容的爬虫。
beautifulsoup详解
qh075的博客
09-30 2569
1，用CSS选择器时，标签名不加任何修饰，class类名前加. , id名前加#2，用到的方法是soup.select()，返回类型是list。3，多个过滤条件需要用空格隔开,严格遵守从前往后逐层筛选。
Beautifulsoup在网页爬虫中的简单使用
mtldswz312的博客
09-23 539
网页爬虫
【Python如何将字符串连接在一起并使用`join()`方法】
最新发布
qq_36253366的博客
07-19 421
方法是字符串对象的方法，而不是列表或元组等序列类型的方法。因此，你需要先指定一个用作分隔符的字符串，然后调用这个字符串的。方法将字符串连接在一起，你需要首先确保这些字符串被存储在一个序列类型中（如列表或元组），然后调用这个序列的。方法是一个字符串方法，它用于将序列（如列表、元组等）中的元素以指定的字符连接生成一个新的字符串。列表中的所有字符串元素使用空格作为分隔符连接成一个新的字符串。方法，并将你想要作为分隔符的字符串作为参数传递给。方法，并将包含要连接字符串的序列作为参数传递。
python爬虫实战-阳光高考爬虫
12-11
阳光高考是一个为学生提供高考信息的网站，为了方便获取最新的高考资讯...总之，通过Python爬虫实战阳光高考网站，我们可以实现自动化获取高考信息的目的，为学生提供更便捷、及时的资讯，帮助他们更好地备考应对高考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值