Beautiful Soup学习（一）

最新推荐文章于 2024-10-20 19:52:39 发布
最新推荐文章于 2024-10-20 19:52:39 发布
阅读量175 收藏
点赞数
分类专栏： python爬虫 文章标签： python bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41146650/article/details/96736898
版权

Beautiful Soup学习（一）

介绍

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式

安装

pip install bs4

基本信息

import bs4
print(bs4.__license__)
print(bs4.__version__)
print(bs4.__copyright__)
print(bs4.__author__)
print(bs4.__all__)

输出

MIT
4.7.1
Copyright (c) 2004-2019 Leonard Richardson
Leonard Richardson (leonardr@segfault.org)
['BeautifulSoup']

基本应用

import bs4
from bs4 import BeautifulSoup
import requests


try:
    url = 'http://qlwb.com.cn/'
    r = requests.get(url=url)
    r.encoding = r.apparent_encoding
    # 用BeautifulSoup解析文本
    bs = BeautifulSoup(r.content, 'lxml')
    # file = open(file="../file/html.txt", mode='w+')
    # 按照标准的缩进格式的结构输出
    # file.write(str(bs.prettify()))
    # 获取html中的title标签
    print(bs.title)
    # 获取html标题名称
    print(bs.title.name)
    # 获取html标题内容
    print(bs.title.string)
    # 获取html所在父节点标签名称
    print(bs.title.parent.name)
    # 获取html中的所有link
    a = bs.find_all('link')
    for i in a:
        print(i)
    # 输出获取的link的href属性
    for i in a:
        print(i.get('href'))
    # 获取html第一条的meta，并输出其content内容
    b = bs.meta
    print(b['content'])
    # 从文档中获取所有文字内容:
    # print(bs.get_text())
except Exception as e:
    print(e)

输出

<title>齐鲁晚报网-山东新闻门户 传播品质资讯</title>
title
齐鲁晚报网-山东新闻门户 传播品质资讯
head
<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css" rel="stylesheet" type="text/css"/>
<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css" rel="stylesheet" type="text/css"/>
<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/index-szb.css" rel="stylesheet" type="text/css"/>
<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/search.css" rel="stylesheet" type="text/css"/>
https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css
https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css
https://img.qlwb.com.cn/templates/qlwb/css/2017shou/index-szb.css
https://img.qlwb.com.cn/templates/qlwb/css/2017shou/search.css
text/html; charset=utf-8

对象的种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

源代码

import bs4
from bs4 import BeautifulSoup

html_doc = """
  <head>
  <meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
  <title>
   齐鲁晚报网-山东新闻门户 传播品质资讯
  </title>
  <meta content="齐鲁晚报,生活日报,鲁南商报,山东新闻,济南新闻,滚动新闻,齐鲁晚报论坛,网上报料,拍客,微博齐鲁" name="keywords"/>
  <meta content="”no-transform”" http-equiv="”Cache-Control”"/>
  <meta content="YSz04dmCHI" name="baidu-site-verification"/>
  <link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css" rel="stylesheet" type="text/css"/>
  <link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css" rel="stylesheet" type="text/css"/>/
  <link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/index-szb.css" rel="stylesheet" type="text/css"/>
  </head>
"""
# 解析文档
bs = bs4.BeautifulSoup(html_doc, 'lxml')
# 将title赋值给tag
tag = bs.title
# tag类型
print(type(tag))
# 每个tag都有自己的名字,通过 .name 来获取:
print(tag.name)
# 修改tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
tag.name = 'TITLE'
print(tag)
# tag的属性的操作方法与字典相同
tag1 = bs.meta
print(tag1['content'])
# 通过.attrs获取属性字典
print(tag1.attrs)
# 添加,删除或修改tag属性
tag1['content'] = 'charset=utf-8'
print(tag1)
del tag1['http-equiv']
print(tag1.get('http-equiv'))
# 遍历标签内的字符串
print(tag.string)
# NavigableString 来包装tag中的字符串
print(type(tag.string))
# BeautifulSoup 对象包含了一个值为 “[document]” 的特殊属性 .name
print(bs.name)
# 获取head下第一个meta标签
print(bs.head.meta)
# tag的 .contents 属性可以将tag的子节点以列表的方式输出:
tag2 = bs.head
print(tag2.contents)
# BeautifulSoup 对象本身一定会包含子节点,也就是说<html>标签也是 BeautifulSoup 对象的子节点
# 字符串没有 .contents 属性,因为字符串没有子节点:
# 通过tag的 .children 生成器,可以对tag的子节点进行循环:
for i in tag2.children:
    print(i)
# .contents 和 .children 属性仅包含tag的直接子节点
# .descendants 属性可以对所有tag的子孙节点进行递归循环
for i in tag2.descendants:
    print(i)
# 如果tag中包含多个字符串 [2] ,可以使用 .strings 来循环获取:
for i in tag.strings:
    print(i)
# 输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容:

输出

<class 'bs4.element.Tag'>
title
<TITLE>
   齐鲁晚报网-山东新闻门户 传播品质资讯
  </TITLE>
text/html; charset=utf-8
{'content': 'text/html; charset=utf-8', 'http-equiv': 'Content-Type'}
<meta content="charset=utf-8" http-equiv="Content-Type"/>
None

   齐鲁晚报网-山东新闻门户 传播品质资讯
  
<class 'bs4.element.NavigableString'>
[document]
<meta content="charset=utf-8"/>
['\n', <meta content="charset=utf-8"/>, '\n', <TITLE>
   齐鲁晚报网-山东新闻门户 传播品质资讯
  </TITLE>, '\n', <meta content="齐鲁晚报,生活日报,鲁南商报,山东新闻,济南新闻,滚动新闻,齐鲁晚报论坛,网上报料,拍客,微博齐鲁" name="keywords"/>, '\n', <meta content="”no-transform”" http-equiv="”Cache-Control”"/>, '\n', <meta content="YSz04dmCHI" name="baidu-site-verification"/>, '\n', <link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css" rel="stylesheet" type="text/css"/>, '\n', <link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css" rel="stylesheet" type="text/css"/>]


<meta content="charset=utf-8"/>


<TITLE>
   齐鲁晚报网-山东新闻门户 传播品质资讯
  </TITLE>


<meta content="齐鲁晚报,生活日报,鲁南商报,山东新闻,济南新闻,滚动新闻,齐鲁晚报论坛,网上报料,拍客,微博齐鲁" name="keywords"/>


<meta content="”no-transform”" http-equiv="”Cache-Control”"/>


<meta content="YSz04dmCHI" name="baidu-site-verification"/>


<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css" rel="stylesheet" type="text/css"/>


<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css" rel="stylesheet" type="text/css"/>


<meta content="charset=utf-8"/>


<TITLE>
   齐鲁晚报网-山东新闻门户 传播品质资讯
  </TITLE>

   齐鲁晚报网-山东新闻门户 传播品质资讯
  


<meta content="齐鲁晚报,生活日报,鲁南商报,山东新闻,济南新闻,滚动新闻,齐鲁晚报论坛,网上报料,拍客,微博齐鲁" name="keywords"/>


<meta content="”no-transform”" http-equiv="”Cache-Control”"/>


<meta content="YSz04dmCHI" name="baidu-site-verification"/>


<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/qlwb.css" rel="stylesheet" type="text/css"/>


<link href="https://img.qlwb.com.cn/templates/qlwb/css/2017shou/ad.css" rel="stylesheet" type="text/css"/>

   齐鲁晚报网-山东新闻门户 传播品质资讯
antRain
关注
专栏目录
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 54万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
Beautiful Soup学习
u011566614的博客
06-21 334
Beautiful Soup 支持解析库 lxml、Python标准库、html5lib BeautifulSoup(markup , features ) makeup 表示被解析的HTML字符串或者文本类型 feature 表示解析器的类型 选择器来查找、定位元素、获取数据 节点选择、方法选择、CSS选择器 节点选择器 html_str = """ <html><head><title>The Dormouse's story </title></
BeautifulSoup学习
yumi_huang的博客
12-09 450
BeautifulSoup入门
BeautifulSoup 知识点学习
weixin_52102581的博客
03-08 211
from bs4 import BeautifulSoup from lxml import etree import codecs#codecs专门用作编码转换，当我们要做编码转换的时候可以借助codecs很简单的进行编码转换 #实例化BeautifulSoup对象 #数据解析 #数据存取 #将本地文档对象加载到html中 html=open('./test.html','r',encoding='utf-8') soup=BeautifulSoup(html,'lxml')#用lxml解析器解析.
python:beautifulSoup学习（来自学习资料）
涂作权的博客
07-18 712
罗列问题： 1、beautifulSoup是什么 是一个能够快速从html或者xml文档中获取数据的类库。 官方的说是，能够帮你节省一天或者几天的开发时间。 2、beautifulSoup如何安装 Pip install beautifulSoup4（如果是Python3.x就是用这个） 旧版本：beautifulSoup3 Pip install beautifulSoup 3、
Beautifulsoup学习笔记+实战项目（绝对详细）
Braylon的博客
03-12 2102
文章目录安装demoBeautifulsoup操作基本元素遍历实战爬取爬取百度热门人物排行大学排名爬取 安装 pip install beautifulsoup4 卸载： pip uninstall beautifulsoup4 ## import import requests import os from bs4 import BeautifulSoup import bs4 impor...
爬虫工具之Beautiful Soup学习
seanyang_的博客
09-18 1419
Beautiful Soup主要用于将 HTML 标签转换为 Python 对象树，然后让我们从对象树中提取数据。基础用法上述输出就是普通的html格式文件，我们可以调用soup对象的方法，可以将 HTML 标签进行格式化操作类的构造函数中传递的两个参数，一个是待解析的字符串，另一个是解析器，官方建议的是lxml，因其解析速度快。BeautifulSoup 类可以将 HTML 文本解析成 Python 对象树，而这里面又包括最重要的四种对象，分别是Tag，，，Comment对象。
爬虫学习：Beautiful Soup的使用
北天的博客
08-24 481
一个强大的解析工具——Beautiful Soup，只需简单的几段代码就可以完成网页中某个信息的提取，一起来见识一下它的强大之处叭！
Beautiful Soup学习笔记(对我自己比较常用)
01-20
本文仅为学习笔记，作用仅为方便自己查阅复习使用，具体学习路线参考 Beautiful Souo 4.2.0文档 文章目录TagnameAttributestag属性的删除tag属性的修改多值属性tag中的字符串注释及特殊字符串 Tag tag中两个最重要的...
MOOC_北理_python爬虫学习_3（Beautiful Soup库相关）
12-20
在众多的Python爬虫库中，Beautiful Soup是备受青睐的一个。本节将深入讲解Beautiful Soup库的使用方法，以及如何结合requests库进行网页数据抓取。 首先，让我们了解Beautiful Soup库的基本使用。在Python中，导入...
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
01-21
本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考，具体如下： 爬虫利器Beautiful Soup 前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取，那么获得网页的html...
Beautiful Soup基础入门
qq_43665434的博客
04-30 365
Beautiful Soup基础入门 Requests 库 遍历文档树 搜索文档树 标签基本元素 Beautiful Soup 库解析器 一、Beautiful Soup简介 就是一个可以从HTML或XML文件中提取数据的Python库。实例：在最好大学网爬取2021年软科类世界大学排名的数据。 二、基本步骤 用chrome浏览器去访问该网站，然后审查元素，定位相关信息对应的代码。整个实验的关键就在于如何遍历tbody标签的孩子标签，获取tr标签里的td标签的数据。 确定好之后，接下来使用reque
pandas中数据子集的获取
weixin_43597208的博客
10-14 494
通常，在pandas模块中实现数据框子集的获取可以使用iloc、loc和ix三种方法，这三种方法既可以对数据行进行筛选，也可以实现变量的筛选，它们的语法可以表示成[rows_select,cols_select]。iloc只能通过行号和列号进行数据的筛选，可以将iloc中的i理解为’integer’，即只能向[rows_select,cols_select]指定整数列表该索引方式与数组的索引方式类似，都是从0开始，可以间隔取号，对于切片仍然无法取到上限。
一个检查OpenEuler版本的Python脚本的意义与实现
cgqyw的专栏
10-16 208
在系统管理和运维工作中，确定操作系统的版本是一个常见且关键的任务。特别是在需要针对特定版本的操作系统进行部署、配置或升级时，准确地识别系统版本至关重要。OpenEuler作为一个开源的服务器操作系统，因其高性能、高可靠性、高安全性以及丰富的软件生态，逐渐受到越来越多企业和开发者的青睐。本文将介绍一个Python脚本，该脚本旨在检查系统是否为OpenEuler 22.03版本。我们将探讨编写此脚本的意义，并详细展示其实现代码。
Python编程实例-猜数字游戏
视觉与物联智能
10-17 85
每个人都喜欢玩游戏。数字游戏既有趣又对大脑活动有益。在本文中，我们将使用Python创建一个有趣的数字猜谜游戏
Python 使用 Jarvis 算法或包装的凸包（Convex Hull using Jarvis’ Algorithm or Wrapping）
csdn_aspnet的专栏
10-14 1243
例如，当输入 (0, 3), (0, 0), (0, 1), (3, 0), (3, 3) 时，它产生 (0, 3) (0, 0) (3, 0) (3, 3) 的输出；当输入 (0, 3), (0, 1), (0, 0), (3, 0), (3, 3) 时，输出为 (0, 3) (0, 1) (0, 0) (3, 0) (3, 3)。下一个点被选为在逆时针方向上领先于所有其他点的点，即，如果对于任何其他点 r，我们有“orientation(p, q, r) = 逆时针”，则下一个点是 q。
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-18 639
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
淘宝商品详情API返回值中的商品推荐理由与卖点
api77的博客
10-17 360
（如taobao.tbk.item.get）通常用于获取商品的详细信息，包括商品的基本属性、价格、图片等。然而，关于商品推荐理由和卖点的具体字段，可能并不是所有API都会直接提供，因为这些信息通常是由商家在发布商品时填写的，并且可能以文本形式存在。不过，假设你正在使用某个特定的淘宝开放平台API，并且该API确实返回了包含商品推荐理由和卖点的信息，以下是一个可能的JSON格式的返回值示例，其中包含了这些字段，并附带了简单的Python代码来解析这些信息。
Python爬虫介绍
最新发布
Runner__Binger的博客
10-20 490
通过使用Python爬虫，你可以快速地从互联网上收集大量数据，这将极大地提高你的工作效率。无论是进行市场分析、学术研究还是个人项目，Python爬虫都能帮助你节省时间，让你专注于数据分析和决策。是一种使用Python编程语言编写的自动化脚本，它可以模拟浏览器的行为，访问网站，提取网页上的数据。这些数据可以用于数据分析、机器学习、信息聚合等多种用途。无论你是想要分析市场趋势、研究社交媒体行为，还是简单地收集数据做报告，Python爬虫都能帮你高效完成任务。在互联网上，信息就像散落的珍珠，而。
Beautiful Soup 基础入门
09-03
Beautiful Soup 是一个Python库，用于从HTML和XML文件中提取数据。它提供了一种简单的方式来遍历、搜索和修改解析树，让你能够轻松地从网页中提取所需的信息。 以下是 Beautiful Soup 的基础入门步骤： 1. 安装 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值