Python爬虫：数据解析和提取——Beautiful Soup

已于 2022-04-07 13:48:22 修改
阅读量2.4k 收藏 2
点赞数
分类专栏： python爬虫 文章标签： python 爬虫 大数据
于 2022-03-30 18:03:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ll3o3/article/details/123815253
版权
本文详细介绍了Beautiful Soup库在Python爬虫中的应用，包括安装、导入与实例化，选择节点、提取信息、子节点、兄弟节点、父节点的操作，以及使用find和find_all方法选择器和CSS选择器进行数据解析。通过实例演示了如何获取节点名称、属性、内容，以及如何处理兄弟节点和祖先节点。
摘要由CSDN通过智能技术生成

 一.安装

pip3 install lxml
pip3 install beautifulsoup4

二.导入与实例化

导入

from bs4 import BeautifulSoup

实例化

  • 本地对象

fp=open(',/test.html','r',encoding='utf-8)
html=BeautifulSoup(fp,'lxml')
  • 网络对象（page_text为requests请求获得）
html=BeautifulSoup(page_text,'lxml')

三.Beautiful Soup规则

实例

html='''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''

1. 选择节点

  1.1 获取节点

result=html.head
#运行结果
<head><title>The Dormouse's story</title></head>

  1.2 多个节点只获取第一个匹配的节点

result=html.p
#运行结果
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

  1.3 嵌套选择

result=html.head.title
#运行结果
<title>The Dormouse's story</title>

2. 提取信息

  2.1 获取节点名称

result=html.title.name
#运行结果
title

  2.2 获取节点属性

result=html.p['name']
#运行结果
dromouse

  2.3 获取节点内容

result=html.title.string
#运行结果
The Dormouse's story

实例

html='''
<html>
    <head>
        &l
最低0.47元/天 解锁文章
ll3o3
关注
专栏目录
使用BeautifulSoup解析页面
欧阳桫的技术博客
02-04 881
@安装beautifulsoup4： pip install beautifulsoup4 @引入类库 # 由bs4引入鸡汤 from bs4 import BeautifulSoup @获得beautifulsoup对象 # 声明使用lxml作为解析器，获得一碗鸡汤 # 这里必须同时装有lxml bsp = BeautifulSoup(page_text, 'lxml') @
万字博文教你python爬虫Beautiful Soup库【详解篇】
热门推荐
孤寒者的博客
07-22 54万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
爬虫Beautiful Soup（9）
小蜗Leon的博客
07-09 242
1. Beautiful Soup的简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就
诚之和:如何使用BeautifulSoup在Python中抓取网页内容？
weixin_45378258的博客
09-16 225
今天我们将讨论如何使用 BeautifulSoup 库从 HTML 页面中提取内容。提取后，我们将使用 BeautifulSoup 将其转换为 Python 列表或字典！ 什么是网页抓取？ 简单的答案是：并非每个网站都有用于获取内容的 API。您可能想从您最喜欢的烹饪网站获取食谱或从旅游博客获取照片。如果没有 API，提取 HTML 或抓取可能是获取该内容的唯一方法。我将向您展示如何在 Python 中执行此操作。 注意：并非所有网站都喜欢抓取，有些网站可能会明确禁止。与网站所有者核对是否可以抓取。
【网络爬虫与信息提取】BeautifulSoup库入门
博客标题不能为空我也没办法
07-02 1423
BeaufitulSoup库入门
Beautiful Soup解析网页
dengluandai1740的博客
10-10 90
使用前步骤： 　　1.Beautiful Soup目前已经被移植到bs4，所以导入Beautiful Soup时先安装bs4库。 　　2.安装lxml库：如果不使用此库，就会使用Python默认的解析器，而lxml具有功能更加强大、速度更快的特点。　 爬取：http://www.cntour.cn/ #!/usr/bin/env python # -*- coding:ut...
python爬虫之数据提取——Beautiful Soup
sjjsaaaa的博客
12-16 675
Beautiful Soup Beautiful Soup提供一些简单的，python式的函数来处理导航、索引、修改分析树等功能。他是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转成Unicode编码，输出文档转换为utf-8编码，不需要考虑编码方式，除非文档没有指定一个编码方式。 Beautiful Soup是一个出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。 Beautif
Python爬虫数据抽取(二)：解析库Beautiful Soup 4
12-21
【Python爬虫数据抽取(二)：解析库Beautiful Soup 4】 在Python的网络爬虫领域，BeautifulSoup是一个不可或缺的工具，它是一个用于解析HTML和XML文档的库，特别适合于数据抽取。BeautifulSoup 4（简称bs4）提供了...
Python 爬虫入门的教程之Beautiful Soup解析
最新发布
11-21
本教程主要讲解 Python 爬虫入门知识，通过 Beautiful Soup 解析网页，抓取中国旅游网首页信息，了解网页结构，使用 requests 库抓取网站数据，并进行数据清洗和组织。 一、了解网页结构 网页结构主要由三部分组成...
Beautiful Soup库应用（网络爬虫之提取）
57
11-11 322
慕课课程学习笔记 目录 1.Beautiful Soup库的安装 2. 采用BeautiSoup库解析 2.1 HTML标签格式 2.2 BeautifulSoup库的引用 2.3 BeautifulSoup库soup类 2.3.1 BeautifulSoup库 解析器 2.3.2 soup类的基本元素 2.3.2 获得基本元素的方法 2.4 基于bs4库的HTML遍历 2...
Python爬虫(二)数据解析之BeautifulSoup
小白装大佬的博客
07-01 327
bs4是如何解析的 bs4数据解析 解析原理: -实例化一个BeautifulSoup对象,将需要解析的页面源码加在到该对象中 -调用BeautifulSoup对象中的方法和属性实现对标签定位和文本数据的提取 bs4 操作 #安装 #- pip install bs4 #- pip install lxml #实例化方式 #- BeautifulSoup(page_text,'lxml'):将互联网请求的数据加在到该对象 #bs4相关解析操作 #标签定位 # soup.tagName:定位到
BeautifulSoup及lxml使用小记
kelvinLLL的博客
02-23 1057
Bs4中常用findall与class_来寻找节点 book_cover=soup.find_all("div",class_='cover') 得到的结果是存在列表中的bs4 tree，仍旧可以用findall遍历   遇到有些只有标签的，没有任何属性的，想要的到标签中的内容，可以寻找兄弟节点 如find_next_siblings()找下一个兄弟节点
python爬虫之Beautiful Soup库，基本使用以及提取页面信息
10-04 5652
Python 爬虫正则表达式和re库在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
数据解析与提取（3.1 用正则表达式解析和提取数据）
Triumph19的博客
03-22 2365
3.1.1 正则表达式基础1：findall()函数 import re a = 'Hello 123 world' result = re.findall('\d\d\d',a) print(result) ['123'] 从运行结果来看，findall()函数返回的是一个包含结果的列表，而不是字符串或数字，很多初学者经常会忽略这一点。 下面再通过一个例子来加深印象，代码如下： import re content = 'Hello 123 world 456 华小智Python基础教学135' r
beautifulsoup获取属性_Python：BeautifulSoup-根据名称属性获取属性值
weixin_29483277的博客
01-12 3607
Python：BeautifulSoup-根据名称属性获取属性值我想根据属性名称打印属性值，例如我想做这样的事情soup = BeautifulSoup(f) //f is some HTML containing the above meta tagfor meta_tag in soup('meta'):if meta_tag['name'] == 'City':print meta_tag[...
python爬虫——Beautiful Soup库（数据解析）模块讲解
记录并分享学习安全的知识点..
03-09 3013
一、概述 Beautiful Soup （简称bs4）是一个可以从HTML或XML文件中提取数据的Python库。提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。注：Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。所以仅仅只需要说明一下原始编码方式就可以。 二、数据解析 数据解析就是将爬取到的整个页面中的局部的内容进
Python beautifulsoup4解析 数据提取 基本使用
EXIxiaozhou的博客
10-04 5456
Python beautifulsoup4解析 数据提取 基本使用
使用Python3和BeautifulSoup爬取笑话网站内容，并导入Excel
李谦的博客
06-16 3万+
本文使用Python3和BeautifulSoup爬取网站内容，并导入Excel。   #抓取糗事百科笑话的脚本 import urllib.request from bs4 import BeautifulSoup import xlwt #写入文件 import xlrd #打开excel文件 import time #返回文本式的html def getHTML(url): ...
深入解析Python爬虫：数据抓取技术与应用实践
Beautiful Soup和lxml是常用的HTML和XML解析库，用于从网页中提取数据。Requests库则提供了简单便捷的HTTP请求功能。为了管理HTTP会话和持久化cookie，还可以使用诸如http.cookiejar的库。 Python爬虫的安全性: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值