python之beautifulSoup

最新推荐文章于 2024-07-10 11:20:48 发布

xppke

最新推荐文章于 2024-07-10 11:20:48 发布

阅读量244

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/appke846/article/details/80805283

版权

python 专栏收录该内容

22 篇文章 1 订阅

订阅专栏

https://cuiqingcai.com/1319.html

https://blog.csdn.net/love666666shen/article/details/77512353

https://www.cnblogs.com/zhaof/p/6930955.html

http://www.mamicode.com/info-detail-1907387.htm

Beautiful Soup的简介

简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

使用

首先必须要导入 bs4 库

from bs4 import BeautifulSoup

我们创建一个字符串，后面的例子我们便会用它来演示

html = """

<html><head><title>The Dormouse's story</title></head>

<body>

The Dormouse's story

Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1"></a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.

...

"""

#html字串

创建 beautifulsoup 对象

soup = BeautifulSoup ( html )

#html本地文件

另外，我们还可以用本地 HTML 文件来创建对象，例如

soup = BeautifulSoup ( open ( 'index.html' ) )

上面这句代码便是将本地 index.html 文件打开，用它来创建 soup 对象

#远程html文件
request = urllib.request.urlopen(url)
data = request.read()

res = BeautifulSoup(data,'html.parser')
下面我们来打印一下 soup 对象的内容，格式化输出

print soup . prettify ( )

< html >

< head >

 < title >

 The Dormouse 's story

 </title>

以上便是输出结果，格式化打印出了它的内容，这个函数经常用到

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象:
soup.head
soup.a
#显示第一个同名标签
soup.head.name #显示标签名称，这里输出‘head’
soup.head.attrs #显示标签的属性，以字典形式返回所有属性
soup.head[‘class‘] #显示head标签的class属性值
soup.head[‘class‘] = ‘newclass‘ #修改head标签class属性值为‘newclass’
del soup.head[‘class‘] #删除head标签的class属性
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)
通过这种soup.标签名我们就可以获得这个标签的内容
这里有个问题需要注意，通过这种方式获取标签，如果文档中有多个这样的标签，返回的结果是第一个标签的内容，如上面我们通过soup.p获取p标签，而文档中有多个p标签，但是只返回了第一个p标签内容

获取名称

当我们通过soup.title.name的时候就可以获得该title标签的名称，即title

获取属性

print(soup.p.attrs['name'])
print(soup.p['name'])
上面两种方式都可以获取p标签的name属性值

获取内容

print(soup.p.string)
结果就可以获取第一个p标签的内容：
The Dormouse's story

嵌套选择

我们直接可以通过下面嵌套的方式获取

print(soup.head.title.string)

from bs4 import BeautifulSou

xppke

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
python之beautifulSoup

https://cuiqingcai.com/1319.htmlhttps://blog.csdn.net/love666666shen/article/details/77512353https://www.cnblogs.com/zhaof/p/6930955.htmlhttp://www.mamicode.com/info-detail-1907387.htmBeautiful Soup的简...
复制链接

扫一扫

专栏目录