BeautifulSoup库详解

BeautifulSoup库详解


Beautifulsoup:灵活又方便的网页解析库,处理高效,支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。

解析器一览

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup,”html.parser”)Python的内置标准库、执行速度适中、文档容错能力强Python 2.7.3 or 3.2.2前的版本中文容错能力差
lxml HTML 解析器BeautifulSoup(markup,”lxml”)速度快、文档容错能力强需要安装C语言库
lxml XML 解析器BeautifulSoup(markup,”xml”)速度快、唯一支持XML的解析器需要安装C语言库
html5libBeautifulSoup(markup,”html5lib”)最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档速度慢、不依赖外部扩展

注意:此教程中脚本的正常运行需要安装两个包(目前已知)bs4和lxml,其中lxml不会被导入,但仍然需要

基本使用

from bs4 import BeautifulSoup
html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!--Elsie--></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html,"lxml") #演示时使用lxml进行解析,最常用
print(soup.prettify()) #格式化方法,可以自动地将代码补全,容错处理
print(soup.title.string) #将title,即The Dormouse's story打印出来

标签选择器

from bs4 import BeautifulSoup
html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!--Elsie--></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html,"lxml")
print(soup.title)   #指定要打印的标签
print(soup.head)
print(soup.p)   #若有多个结果,只返回第一个 (1)选择元素
print(soup.title.name)   #  (2)获取名称
print(soup.p.attrs["name"])   #(3)获取属性
print(soup.p["name"])   #(3)获取属性
print(soup.p.string)  #(4)获取内容
print(soup.head.title.string)  #(5)嵌套选择,若获取的tag格式正确,还可以继续提取元素

输出

<title>The Dormouse's story</title>
<head><title>The Dormouse's story</title></head>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
title
dromouse
dormouse
The Dormouse's story
The Dormouse's story

子节点和子孙节点

from bs4 import BeautifulSoup
html = '''
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    <span>Elsie</span>
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
</html>
'''
soup = BeautifulSoup(html,"lxml")
print(soup.p.contents)  #只返回第一个p标签的内容,结果以列表形式体现,但每个元素的类型都是bs4内置的

输出

['\n   Once upon a time there were three little sisters; and their names were\n   ', <a class="sister" href="http://example.com/elsie" id="link1">
<span>Elsie</span>
</a>, '\n   ,\n   ', <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>, '\n   and\n   ', <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>, '\n   ;\nand they lived at the bottom of a well.\n  ']
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")  # html变量使用上例的内容,下同
print(soup.p.children) 
for i,child in enumerate(soup.p.children):  
#soup.p.children实为迭代器,需要循坏才能取得内容
      print(i,child)

输出

<list_iterator object at 0x10a20b6a0>
0 
   Once upon a time there were three little sisters; and their names were
   
1 <a class="sister" href="http://example.com/elsie" id="link1">
<span>Elsie</span>
</a>
2 
   ,
   
3 <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
4 
   and
   
5 <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
6 
   ;
and they lived at the bottom of a well.
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):  
#soup.p.descendants也为迭代器,会将每一个子标签细分出来
	print(i,child)
<generator object Tag.descendants at 0x109615c78>
0 
   Once upon a time there were three little sisters; and their names were
   
1 <a class="sister" href="http://example.com/elsie" id="link1">
<span>Elsie</span>
</a>
2 

3 <span>Elsie</span>
4 Elsie
5 

6 
   ,
   
7 <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
8 
    Lacie
   
9 
   and
   
10 <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
11 
    Tillie
   
12 
   ;
and they lived at the bottom of a well.

父节点和祖先节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.a.parent)  #以第一个a标签为主,输出其父标签的全部内容

输出

<p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
<span>Elsie</span>
</a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(list(enumerate(soup.a.parents)))  
#以第一个a标签为主,输出其所有祖先标签的全部内容
#一般最后一个和倒数第二个相同
#一个是parent,一个是parents

输出省略

兄弟节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(list(enumerate(soup.a.next_siblings)))  #获取后面的兄弟节点
print(list(enumerate(soup.a.previous_siblings)))  #获取前面的兄弟节点

输出

[(0, '\n   ,\n   '), (1, <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>), (2, '\n   and\n   '), (3, <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>), (4, '\n   ;\nand they lived at the bottom of a well.\n  ')]
[(0, '\n   Once upon a time there were three little sisters; and their names were\n   ')]

标准选择器

find_all

find_all(Name,Attrs,Recursive,Text,**kwargs) 可根据标签名、属性、内容查找文档,原理跟正则表达式相似。
Name:

from bs4 import BeautifulSoup
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
soup = BeautifulSoup(html,"lxml")
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))

输出

[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
<class 'bs4.element.Tag'>   #由于是tag类型,还可以进行嵌套操作,参见下例
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
for ul in soup.find_all('ul'):  #嵌套查找
  print(ul.find_all('li'))

输出

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

Attrs:

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.find_all(attrs={'id':'list-1'}))  
#参数形式为字典形式,输出整个标签,特殊的属性名不需要加双引号,可以直接输入
print(soup.find_all(id='list-1'))
print(soup.find_all(attrs={'name':'elements'}))

输出

[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
[]

Text
根据内容匹配

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.find_all(text="Foo"))

输出

['Foo', 'Foo']

find(name,attrs,recursive,text,**kwargs)
使用方法和find_all方法完全相同,find返回单个元素,find_all返回所有元素,相当于find_all方法结果的第一个值
返回所有对应节点:
find_parents()、find_next_siblings()、find_previous_siblings()、find_all_next()、find_all_previous()
返回第一个符合条件的节点:
find_parent()、find_next_sibling()、find_previous_sibling()、find_next()、find_previous()

CSS选择器

通过select()直接传入CSS选择器即可完成选择

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.select('.panel .panel-heading')) 
#.panel 代表选择class="panel",注意元素之间的空格
#第一个元素表示起始,但不包括,第二个表示输出范围
print(soup.select('ul li'))  #若选择标签则不需添加额外符号
print(soup.select('#list-2 .element'))  # 若选择id则添加 "#"
print(type(soup.select('ul')[0]))
soup = BeautifulSoup(html,"lxml")
for ul in soup.select('ul'):        #使用嵌套结构
     print(ul.select('li'))

输出

[<div class="panel-heading">
<h4>Hello</h4>
</div>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]
<class 'bs4.element.Tag'>
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

获取属性:

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")
print(soup.select('ul'))
for ul in soup.select('ul'):
     print(ul['id'])
     print(ul.attrs['id'])  #两种方法都可以获取属性

输出

[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
list-1
list-1
list-2
list-2

获取内容

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")
print(soup.select('ul'))
for ul in soup.select('li'):
     print(ul.get_text())  #获取标签里的文本

输出

[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
Foo
Bar
Jay
Foo
Bar
已标记关键词 清除标记
相关推荐
DirectX修复工具(DirectX Repair)是一款系统级工具软件,简便易用。本程序为绿色版,无需安装,可直接运行。 本程序的主要功能是检测当前系统的DirectX状态,如果发现异常则进行修复。程序主要针对0xc000007b问题设计,可以完美修复该问题。本程序中包含了最新版的DirectX redist(Jun2010),并且全部DX文件都有Microsoft的数字签名,安全放心。 本程序为了应对一般电脑用户的使用,采用了易用的一键式设计,只要点击主界面上的“检测并修复”按钮,程序就会自动完成校验、检测、下载、修复以及注册的全部功能,无需用户的介入,大大降低了使用难度。在常规修复过程中,程序还会自动检测DirectX加速状态,在异常时给予用户相应提示。 本程序适用于多个操作系统,如Windows XP(需先安装.NET 2.0,详情请参阅“致Windows XP用户.txt”文件)、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 8.1 Update、Windows 10,同时兼容32位操作系统和64位操作系统。本程序会根据系统的不同,自动调整任务模式,无需用户进行设置。 本程序的V4.0版分为标准版、增强版以及在线修复版。所有版本都支持修复DirectX的功能,而增强版则额外支持修复c++的功能。在线修复版功能与标准版相同,但其所需的数据包需要在修复时自动下载。各个版本之间,主程序完全相同,只是其配套使用的数据包不同。因此,标准版和在线修复版可以通过补全扩展包的形式成为增强版。本程序自V3.5版起,自带扩展功能。只要在主界面的“工具”菜单下打开“选项”对话框,找到“扩展”标签,点击其中的“开始扩展”按钮即可。扩展过程需要Internet连接,扩展成功后新的数据包可自动生效。扩展用时根据网络速度不同而不同,最快仅需数秒,最慢需要数分钟,烦请耐心等待。如扩展失败,可点击“扩展”界面左上角小锁图标切换为加密连接,即可很大程度上避免因防火墙或其他原因导致的连接失败。 本程序自V2.0版起采用全新的底层程序架构,使用了异步多线程编程技术,使得检测、下载、修复单独进行,互不干扰,快速如飞。新程序更改了自我校验方式,因此使用新版本的程序时不会再出现自我校验失败的错误;但并非取消自我校验,因此程序安全性与之前版本相同,并未降低。 程序有更新系统c++功能。由于绝大多数软件运行时需要c++的支持,并且c++的异常也会导致0xc000007b错误,因此程序在检测修复的同时,也会根据需要更新系统中的c++组件。自V3.2版本开始使用了全新的c++扩展包,可以大幅提高工业软件修复成功的概率。修复c++的功能仅限于增强版,标准版及在线修复版在系统c++异常时(非丢失时)会提示用户使用增强版进行修复。除常规修复外,新版程序还支持C++强力修复功能。当常规修复无效时,可以到本程序的选项界面内开启强力修复功能,可大幅提高修复成功率。请注意,请仅在常规修复无效时再使用此功能。 程序有两种窗口样式。正常模式即默认样式,适合绝大多数用户使用。另有一种简约模式,此时窗口将只显示最基本的内容,修复会自动进行,修复完成10秒钟后会自动退出。该窗口样式可以使修复工作变得更加简单快速,同时方便其他软件、游戏将本程序内嵌,即可进行无需人工参与的快速修复。开启简约模式的方法是:打开程序所在目录下的“Settings.ini”文件(如果没有可以自己创建),将其中的“FormStyle”一项的值改为“Simple”并保存即可。 新版程序支持命令行运行模式。在命令行中调用本程序,可以在路径后直接添加命令进行相应的设置。常见的命令有7类,分别是设置语言的命令、设置窗口模式的命令,设置安全级别的命令、开启强力修复的命令、设置c++修复模式的命令、控制Direct加速的命令、显示版权信息的命令。具体命令名称可以通过“/help”或“/?”进行查询。 程序有高级筛选功能,开启该功能后用户可以自主选择要修复的文件,避免了其他不必要的修复工作。同时,也支持通过文件进行辅助筛选,只要在程序目录下建立“Filter.dat”文件,其中的每一行写一个需要修复文件的序号即可。该功能仅针对高级用户使用,并且必须在正常窗口模式下才有效(简约模式时无效)。 本程序有自动记录日志功能,可以记录每一次检测修复结果,方便在出现问题时,及时分析和查找原因,以便找到解决办法。 程序的“选项”对话框中包含了7项高级功能。点击"常规”选项卡可以调整程序的基本运行情况,包括日志记录、安全级别控制、调试模式开启等。只有开启调试模式后才能在C
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页