05-BeautifulSoup基础

最新推荐文章于 2024-03-19 20:34:59 发布
最新推荐文章于 2024-03-19 20:34:59 发布
阅读量370 收藏
点赞数
分类专栏： python_爬虫 Python3爬虫之路 文章标签： python3 爬虫 Bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nightcharm/article/details/79592260
版权

BeautifulSoup

方便又灵活的网页解析库，处理高效，支持多种解析器。

利用它不用编写正则表达式即可方便的实现网页信息的提取

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.prettify()) # 格式化代码，自动将代码进行补全
print(soup.title.string)
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title" name="dromouse">
   <b>
    The Dormouse's story
   </b>
  </p>
 </body>
</html>
The Dormouse's story

选择元素

只选择第一个

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)
<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
<head><title>The Dormouse's story</title>
</head>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

获取属性

.attrs['属性名']
['属性名']

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.attrs['name'])
print(soup.p['name'])
dromouse
dromouse

获取内容

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.string)
print(soup.p.text)
The Dormouse's story
The Dormouse's story

嵌入选择

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.head.title.string)
The Dormouse's story

子节点和子孙节点

contents 返回的是一个列表
children 返回的是一个迭代器
descendants 返回所有子孙节点

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.contents)
[<b>The Dormouse's story</b>]

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for i, k in enumerate(soup.p.children):
    print (i, k)
0 <b>The Dormouse's story</b>

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# print(soup.p.descendants)
for i in soup.p.descendants:
    print(i)
<b>The Dormouse's story</b>
The Dormouse's story

父节点和祖父节点

html = """
<html><head><title>The Dormouse's story</title><head>
<body>
<p class='title' name='dromouse'><b>The Dormouse's story</b></p>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.b.parent)
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

兄弟节点

标准选择器

find_all(name. attrs, recurslve, text, **kwargs)

可根据标签名、属性、内容查找文档

name

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))
[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
<class 'bs4.element.Tag'>

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 通过上次结果知道 通过find_all('ul')得到的 数据 是<class 'bs4.element.Tag'>
# 所以我们可以继续find_all() 查找
for ul in soup.find_all('ul'):
    print(ul.find_all('li'))
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]

attrs

可以通过attrs={}的方式指定 有某个属性的 标签

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(attrs={'id':'list-1'}))
print(soup.find_all(attrs={'name':'elements'}))
[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(id='list-1'))
print(soup.find_all(class_='element'))
[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]

text

返回的是 该内容 而不是含有该内容的标签

所以一般用于校验 数据内容 而不是找标签

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(text='Foo'))
['Foo', 'Foo']

find(name, attrs, recursive, text, **kwargs)

find返回单个元素， find_all返回所有元素

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find('ul'))
print(type(soup.find('ul')))
print(soup.find('page')) # 如果找不到则返回None
<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<class 'bs4.element.Tag'>
None

find_parents() find_parent()

find_parents()返回所有祖先节点， find_parent()返回之间诶父节点

find_next_siblings() find_next_sibling()

find_next_siblings() 返回后面所有兄弟节点， find_next_sibling() 返回后面第一个兄弟节点

find_previous_siblings() find_previous_sibling()

find_previous_siblings() 返回前面的所有兄弟节点，find_previous_sibling()返回前面的第一个兄弟节点

find_all_next() find_next()

find_all_next()返回节点后所有符合条件的节点， find_next()返回第一个符合条件的节点

find_all_previous() 和 find_previous()

find_all_previous()返回节点后所有符合条件的节点， find_previous()返回第一个符合条件的节点

CSS选择器

通过select() 直接传入CSS选择器即可完成选择

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.select('.panel .panel-heading'))
print(soup.select('ul li'))
print(soup.select('#list-2 .element'))
print(type(soup.select('ul')[0]))
[<div class="panel-heading">
<h4>Hello</h4>
</div>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
<class 'bs4.element.Tag'>

获取属性

可以直接通过['属性名']。 或者attrs['属性名']得到该属性

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])
list-1
list-1
list-2
list-2

获取内容

可以直接通过.get_text()方法获取内容

string…等方式也可以获取内容

html = """
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
    </div>
</div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('li'):
    print(ul.get_text())
Foo
Foo
Bar
Bar
Jay
Jay
Foo
Foo
Bar
Bar
Jay
Jay

总结

  • 推荐使用lxml解析库， 必要时使用html.parser(系统自带的解析库)
  • 标签选择器筛选功能弱，但是速度快
  • 建议使用find（）、find_all()查询匹配单个结果或多个结果
  • 如果多CSS选择器熟悉建议使用select()
  • 记住常用的获取属性和文本值的方法
NightCharm
关注
专栏目录
Python BeautifulSoup基础总结
凯耐的博客
02-02 979
（一）BeautifulSoup4简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。 使用BeautifulSoup 构建一个BeautifulSoup对象需要两个参数，第一个参数解析文本字符串，第二个参数告诉Be...
beautifulsoup爬取网页中的表格_Python 爬虫基础教程——BeautifulSoup抓取入门
weixin_39923945的博客
11-20 1639
点击上方蓝色文字关注我们吧有你想要的精彩作者| 東不归出品 | Python知识学堂大家好，上篇推文介绍了爬虫方面需要注意的地方、使用vscode开发环境的时候会遇到的问题以及使用正则表达式的方式爬取页面信息，本篇内容主要是介绍BeautifulSoup模块的使用教程。BeautifulSoup介紹引用官方的解释：Beautiful Soup 是一个可以从HTML或XML文件中提取数据...
Python爬虫入门（二）BeautifulSoup基础
weixin_43868436的博客
04-30 124
一、BeautifulSoup基础 from bs4 import BeautifulSoup import requests ''' bs4入门 ''' # !!!find_all找到所有，返回列表 find找到第一个 def test(): # BeautifulSoup对象对应一个html文件 # BeautifulSoup类基本元素 # tag tag....
Beautiful Soup基础入门
qq_43665434的博客
04-30 357
Beautiful Soup基础入门 Requests 库 遍历文档树 搜索文档树 标签基本元素 Beautiful Soup 库解析器 一、Beautiful Soup简介 就是一个可以从HTML或XML文件中提取数据的Python库。实例：在最好大学网爬取2021年软科类世界大学排名的数据。 二、基本步骤 用chrome浏览器去访问该网站，然后审查元素，定位相关信息对应的代码。整个实验的关键就在于如何遍历tbody标签的孩子标签，获取tr标签里的td标签的数据。 确定好之后，接下来使用reque
beautifulsoup_python爬虫之Beautiful Soup基础知识+实例
weixin_39830012的博客
11-27 474
python爬虫之Beautiful Soup基础知识Beautiful Soup是一个可以从HTML或XML文件中提取数据的python库。它能通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。需要注意的是，Beautiful Soup已经自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。因此在使用它的时候不需要考虑编码方式，仅仅需要说明一下原始编码方式就...
python爬虫——BeautifulSoup基础操作
xiao_lxl的专栏
08-18 1484
安装好BeautifulSoup4和Jupyter之后，在cmd中输入jupyter notebook 运行，会直接跳转到网页jupyter编辑器中。import requests newsurl = "http://news.sina.com.cn/china/" res = requests.get(newsurl) res.encoding = 'utf-8' print(res.text)
python教程-node-05-文本搜索命令.ev4.rar
03-26
【标题】：“python教程-node-05-文本搜索命令.ev4.rar”指示这是一个关于Python编程的教程，重点关注在文本搜索命令。"node-05"可能代表教程的第五个节点或部分，暗示这是一个系列课程中的一个阶段。".ev4.rar"是...
python爬虫数据可视化-05-定义别名.ev4.rar
01-12
在Python编程领域，爬虫和数据可视化是两个重要...总之，这个教程将帮助学习者掌握Python爬虫和数据可视化的基础知识，提升数据分析和展示的能力。通过定义别名，可以使代码更易读，同时也方便后期对数据的理解和处理。
完整版精品Python网络爬虫教程 数据采集 信息提取课程 05-信息标记与提取方法（共49页）.pptx
11-13
Python网络爬虫是一种用于自动化获取互联网上数据的技术，...随着技术的不断进步，Python网络爬虫在数据分析、市场研究、新闻监控等领域发挥着越来越重要的作用，这门课程为想要进入这个领域的学习者提供了坚实的基础。
【python-Web自动化-05课-iframe、窗口等控件切换】
最新发布
04-15
Python的BeautifulSoup库可以用来解析HTML文档，而Selenium则提供了`find_element_by_*`系列方法，如`find_element_by_id`、`find_element_by_name`、`find_element_by_xpath`等，依据不同的选择器定位元素。...
BeautifulSoup基本用法总结
热门推荐
kikaylee的专栏
02-24 8万+
BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。
BeautifulSoup
斯人若彩虹，遇上方知有！
03-28 2979
Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。 可以查看中文文档beautifullsoup学习！！！ 里面的open()文件里的web.html文件是自己简单制作的html,也可以自己用get...
【Python爬虫】详解BeautifulSoup()及其方法
小吉妙妙屋
03-19 3081
使用 BeautifulSoup，你可以将 HTML 或 XML 文档加载到解析树中，并使用类似于 DOM（文档对象模型）的方式来遍历和搜索文档的结构。然后，你可以使用各种方法和属性来定位、提取和操作文档中的元素和数据。总的来说，BeautifulSoup 是一个功能强大且易于使用的工具，用于解析和处理 HTML、XML 等文档，并从中提取所需的数据。由于link标签里面的链接中有a字母，所以link标签也被选出来了。我们查找a标签，head标签里面有a这个 字母，所以被选出来了。
python beautiful soup库的用法
weixin_34127717的博客
03-09 3103
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
【5】基础知识类---BeautifulSoup4
shlleylu的博客
09-16 2012
BeautifulSoup4 一、入门 1.基本介绍 用处：和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 比较： 抓取工具 速度 使用难度 安装难度 正则re 最快 困难 无（内置） Beautiful Soup 慢 最简单 ...
beautifulsoup详解
qh075的博客
09-30 2621
1，用CSS选择器时，标签名不加任何修饰，class类名前加. , id名前加#2，用到的方法是soup.select()，返回类型是list。3，多个过滤条件需要用空格隔开,严格遵守从前往后逐层筛选。
BeautifulSoup使用
rootlh的博客
02-12 291
官方文档： https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html将网站标准格式输出：from bs4 import BeautifulSouphtml_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="t
Python爬虫：BeautifulSoup库
不怕猫的耗子A
08-12 2万+
Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...
BeautifulSoup库详解
qq_39748755的博客
09-15 144
安装：pip3 install beautifulsoup4 解析库  解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,"html.parser") Python的内置标准库、执行速度适中、文档容错能力强 Python 2.7.3 or 3.2.2)前的版本中文容错能力差 lxml HTML 解析器 ...
PackagesNotFoundError: The following packages are not available from current channels: - beautifulsoup
10-19
在这个引用中，所需的软件包是beautifulsoup。这可能是因为清华镜像已经不能使用了，或者该软件包在当前的软件源中不存在。解决这个问题的方法是手动下载beautifulsoup的whl文件并进行安装。whl文件是Python的一种二...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值