python爬虫——BeautifulSoup库

最新推荐文章于 2024-08-30 10:01:19 发布
最新推荐文章于 2024-08-30 10:01:19 发布
阅读量350 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38344394/article/details/80937316
版权

BeautifulSoup库

一、简介

灵活又方便的网页解析库，处理高效，支持多种解析器。

利用它不用编写正则表达式即可方便地实现网页信息的提取。

二、详解

1.解析库

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup,"html.parser")Python的内置标准库，执行速度适中，文档容错能力强Python 2.7.3 or 3.2.2 版本前中文容错能力弱
lxml HTML解析器BeautifulSoup(markup,'lxml')速度快，文档容错能力强需要安装C语言库
lxml XML解析器BeautifulSoup(markup,'xml')速度快，唯一支持XML的解析器需要安装C语言库
html5libBeautifulSoup(markup,'html5lib')最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档速度慢，不依赖扩展
2.基本使用
html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
print(soup.title.string)

3.标签选择器

3.1选择元素

html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)

如果一个标签存在多个，只返回第一个。

3.2获取名称

html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title.name)

3.3获取属性

html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.attrs['name'])
print(soup.p['name'])
3.4获取内容 
html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.string)

3.5嵌套选择

html = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters;and their names were
<a href="http://example.com/else" class="sister" id="link1"><!--Elsie--></a>
<a href="http://example.com/lacle" class="sister" id="link2">Lacle</a>and 
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.head.title.string)

3.6子节点和子孙节点

html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)
html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.children)
for i,child in enumerate(soup.p.children):
	print(i,child)
html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):#所有的子孙节点
	print(i,child)

父节点和祖先节点

html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.parent)
html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.parents)))#祖先节点

兄弟节点

html = """
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="story">
   Once upon a time there were three little sisters;and their names were
   <a class="sister" href="http://example.com/else" id="link1">
    <!--Elsie-->
   </a>
   <a class="sister" href="http://example.com/lacle" id="link2">
    Lacle
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
 """
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.next_siblings)))
print(list(enumerate(soup.a.previous_siblings)))

标准选择器

find_all(name,attrs,recursive,text,**kwargs)

可以根据标签名，属性，内容查找文档。

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all('ul'))#标签名name
print(type(soup.find_all('ul')[0]))
html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.find_all('ul'):
	print(ul.find_all('li'))

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(attrs={'id':'list-1'}))#属性attr
print(soup.find_all(attrs={'name':'elements'}))

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(id='list-1'))#对于特殊类型的属性，可以直接这么写
print(soup.find_all(class_='element'))
html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text='Foo'))#利用text进行选择
find(name,attrs,recursive,text,**kwargs)

返回单个元素，会返回列表里面第一个值。

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find('ul'))
print(type(soup.find('ul')))
print(soup.find('page'))#不存在返回None
find_parents()#返回所有祖先节点
find_parent()#返回直接父节点
find_next_siblings()#返回后面所有兄弟节点
find_next_sibling()#返回后面第一个兄弟节点
find_previous_siblings()#返回前面所有兄弟节点
find_previous_sibling()#返回前面第一个兄弟节点
find_all_next()#返回节点后所有符合条件的节点
find_next()#返回第一个符合条件的节点
find_all_previous()#返回节点前所有符合条件的节点
find_previous()#返回节点前第一个符合条件的节点

CSS选择器

通过select()直接传入CSS选择器即可完成选择。

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.select('.panel .panel-heading')))
print(soup.select('ul li'))
print(soup.select('#list-2 .element'))

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
	print(ul.select('li'))

获取属性

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
	print(ul['id'])
	print(ul.attrs['id'])

获取内容

html = """
<div class="panel">
	<div class="panel-heading">
		<h4>hello</h4>
	</div>
	<div class="panel-body">
		<ul class="list" id="list-1" name="elements">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
			<li class="element">Jay</li>
		</ul>
		<ul class="list list-small" id="list-2">
			<li class="element">Foo</li>
			<li class="element">Bar</li>
		</ul>
	</div>
<div>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
	print(li.get_text())

总结

1.推荐使用lxml解析库，必要时使用html.parser

2.标签选择器筛选功能弱但是速度快。

3.建议使用find(),find_all()匹配单个结果或者多个结果。

4.如果对css选择器熟悉选择建议使用select()。

5.记住常用的获取属性和文本值的方法。


剑客黑白熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。 首先，`urllib.request`是Python标准库中的一个模块，用于处理URL相关的请求。在爬虫领域，它主要负责发起...
Python爬虫：BeautifulSoup库
热门推荐
不怕猫的耗子A
08-12 2万+
Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...
Python爬虫小白入门（三）BeautifulSoup库
2201_75362610的博客
07-04 1992
上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。update on 2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点BeautifulSoup的用法。update on 2017-08-16：很多网友留言说Unsplash网站改版了，很多内容是动态加载的。
Python爬虫小白入门（二）BeautifulSoup库
m0_62283350的博客
06-19 1455
上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。
【Python beautifulsoup】详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
weixin_50409347的博客
07-06 6935
Python beautifulsoup库是一个强大的Web抓取和解析库，它提供了丰富的功能和简单易用的API，可以帮助我们处理HTML和XML文档，从中提取数据，进行数据清洗和处理。beautifulsoup库基于Python标准库中的html.parser模块，同时还可以与第三方解析库lxml和parsel配合使用，提供更高效和灵活的解析方式。本文将详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
Python之BeautifulSoup库详解
qq_33807380的博客
03-04 4283
BeautifulSoup是一个灵活方便的网页解析库，处理高效，能够自动的将输入文档转换为Unicode编码，输出文档转换为utf-8编码，且支持多种解析器。其最主要的功能是从网页抓取数据。
python之BeautifulSoup库
qq_44690947的博客
08-21 4447
python的BeautifulSoup解析库
python爬虫——牛课实习广场
12-22
Python爬虫技术在数据获取和分析中扮演着重要的角色，特别是在寻找实习机会时，能够自动爬取招聘信息可以极大地节省时间。本案例中，我们将探讨如何使用Python爬取牛课网实习广场的职业信息，主要涉及requests、...
Python爬虫——总结小知识点
12-22
Python爬虫技术是数据获取和分析的重要工具，它允许我们自动化地从网页抓取信息。在Python中，`urllib`库是实现基础网络请求的主要模块。本文将深入探讨`urllib`入门、`response`对象、用户代理的使用以及处理URL...
python爬虫——微博热门评论
07-13
在这个过程中，我们将主要依赖Python的requests库来发送HTTP请求，BeautifulSoup库来解析HTML页面，以及可能需要的Selenium库来处理动态加载的内容。 1. **Python requests库**：requests是Python中用于发送HTTP...
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息
12-21
在本篇《Python爬虫学习记录（1）——BeautifulSoup爬取天气信息》中，我们将学习如何使用Python的BeautifulSoup库来抓取特定网站上的天气信息。BeautifulSoup是一个用于解析HTML和XML文档的库，它提供了强大的导航...
Python使用BeautifulSoup库解析HTML基本使用教程
01-20
BeautifulSoup是Python的一个第三方库，可用于帮助解析html/XML等内容，以抓取特定的网页信息。目前最新的是v4版本，这里主要总结一下我使用的v3版本解析html的一些常用方法。 准备 1.Beautiful Soup安装 为了能够对页面中的内容进行解析，本文使用Beautiful Soup。当然，本文的例子需求较简单，完全可以使用分析字符串的方式。 执行 sudo easy_install beautifulsoup4 即可安装。 2.requests模块的安装 requests模块用于加载要请求的web页面。 在python的命令行中输入import requests
python的BeautifulSoup库怎么用（详细教程）
qq_40860747的博客
05-19 6762
以上就是一个比较详细的 BeautifulSoup 教程，包括安装、基本用法和一些高级应用。BeautifulSoup 可以帮助我们方便地解析 HTML 和 XML 文档，并从中提取所需的信息，是 Python 网络爬虫开发中常用的工具之一。
Python 网页解析中级篇：深入理解BeautifulSoup库
小小张说故事的博客
08-19 760
在Python的网络爬虫中，BeautifulSoup库是一个重要的网页解析工具。在初级教程中，我们已经了解了BeautifulSoup库的基本使用方法。在本篇文章中，我们将深入学习BeautifulSoup库的进阶使用。
Python爬虫（三）：BeautifulSoup库
GY的的专栏
05-17 1926
BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它能够将 HTML 或 XML 转化为可定位的树形结构，并提供了导航、查找、修改功能，它会自动将输入文档转换为 Unicode 编码，输出文档转换为 UTF-8 编码。
六、介绍BeautifulSoup库：Python网络爬虫利器
null18的博客
07-08 222
BeautifulSoup库是由Leonard Richardson开发的一款Python库，用于解析和遍历HTML以及XML文档。该库提供了一种Pythonic的方式来方便地导航、搜索和修改解析树。通过使用BeautifulSoup，我们能够轻松地从HTML页面中提取所需的数据，无论是简单的文本还是复杂的结构化数据。
BeautifulSoup：Python网页解析库详解
最新发布
零度°C的博客
08-30 758
是一个Python库，用于从HTML或XML文件中提取数据。它能够通过简单的方法处理复杂的HTML文档，并且很容易就能找到你需要的标签和数据。
Python爬虫入门——BeautifulSoup库
m0_59485658的博客
12-24 929
这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。
Python爬虫：BeautifulSoup教程——查看SLA模板与命令详解
在本文档中，主要介绍了如何通过Python爬虫中的BeautifulSoup库来处理和解析"查看SLA模板"的相关命令。SLA（Service Level Agreement，服务级别协议）是一种在IT服务管理中用于定义服务质量和性能期望的合同。在这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值