13_Beautiful Soup解析器

最新推荐文章于 2023-10-31 10:27:55 发布

lsqzedu

最新推荐文章于 2023-10-31 10:27:55 发布

阅读量527

点赞数

分类专栏： Python面向对象与模块化文章标签： Beautiful Soup scrapy

本文链接：https://blog.csdn.net/lsqzedu/article/details/91038668

版权

Python面向对象与模块化专栏收录该内容

20 篇文章 7 订阅

订阅专栏

在这里插入图片描述

文章目录

网页解析器
各种解析器的对比
快速开始
采用Soup解析网页

博文配套视频课程：24小时实现从零到AI人工智能

网页解析器

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间

# 如果通过show没有显示相应的路径，则可以采用install安装
C:\Users\Administrator>pip show beautifulsoup4
Name: beautifulsoup4
Version: 4.7.1
Summary: Screen-scraping library
Home-page: http://www.crummy.com/software/BeautifulSoup/bs4/
Author: Leonard Richardson
Author-email: leonardr@segfault.org
License: MIT
Location: d:\anaconda3\lib\site-packages
Requires: soupsieve
Required-by: conda-build

C:\Users\Administrator>pip install beautifulsoup4

各种解析器的对比

推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定

在这里插入图片描述

快速开始

Python中3引号代表可换行的字符串

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

采用Soup解析网页

此处大家只需要了解soup可以获取网页中的任何元素，某个元素中父元素，元素中的属性等。下节课我们会对需要的代码进行封装操作

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc)

soup.title
# <title>The Dormouse's story</title>

soup.title.name
# u'title'

soup.title.string
# u'The Dormouse's story'

soup.title.parent.name
# u'head'

soup.p
# <p class="title"><b>The Dormouse's story</b></p>

soup.p['class']
# u'title'

soup.a
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

soup.find_all('a')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

soup.find(id="link3")
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

# 从文档中找到所有的a标签
for link in soup.find_all('a'):
    print(link.get('href'))
    # http://example.com/elsie
    # http://example.com/lacie
    # http://example.com/tillie

在这里插入图片描述

lsqzedu

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
13_Beautiful Soup解析器

文章目录网页解析器各种解析器的对比快速开始采用Soup解析网页网页解析器Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间# 如果通过show没有显示相应的路径，则可以采用install安装C:\Users\Admin...
复制链接

扫一扫

专栏目录