Beautifulsoup4学习笔记

最新推荐文章于 2024-10-25 09:56:55 发布
最新推荐文章于 2024-10-25 09:56:55 发布
阅读量4.5k 收藏 6
点赞数 1
分类专栏： python 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chuan_yu_chuan/article/details/53761383
版权
这篇博客介绍了BeautifulSoup4的基本使用，包括如何构建BeautifulSoup对象，四种主要对象（Tag, NavigableString, BeautifulSoup, Comment）的特性，遍历和搜索文档树的方法，以及如何使用CSS选择器。文中详细阐述了对象属性和方法，如Tag的name和attrs属性，NavigableString的内容获取，以及遍历父节点、子节点和兄弟节点的方法。此外，还讨论了find_all和find方法，以及如何使用CSS选择器进行高效筛选。" 131176365,9143399,夜间灯光数据揭示能源碳排放变化趋势,"['能源分析', '环保', '数据科学', '遥感技术', '碳排放']
摘要由CSDN通过智能技术生成

beautifulsoup4学习小记
pip安装

pip install beautifulsoup4

或easy_install

easy_install beautifulsoup4

或源码安装

python setup.py install

BeautifulSoup除了内置HTML解析器，还支持一些第三方解析去，比如html5lib,lxml等，可以安装之后，在初始化BeautifulSoup对象的时候构建

构建BeautifulSoup对象

一般可以处理两种html文件，一种是在线获取再处理，一种是直接处理本地文件

import requests
from bs4 import BeautifulSoup
# 通过requests获取
html = requests.get('http://www.pm25.com/xian.html')
soup = BeautifulSoup(html.text)
# 处理本地文件
soup = BeautifulSoup(open('test.html'))

四种对象

BeautifulSoup主要有四类对象 Tag,NavigableString,BeautifulSoup,Comment

Tag

Tag有两种重要的属性 name和attrs
soup.p.name
soup.p.attrs 包括class在内的p标签的所有属性
soup.p[‘class’] class属性
soup.p.get(‘class’) 与上一个作用相同，获取class属性
soup.p[‘class’] = ‘newClass’ 修改class属性

获取标签的内容使用 .string或get_text()

BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容

Comment

打印前可以判断一下是否为注释

if type(soup.a.string)==bs4.element.Comment:
    print(soup.a.string)

遍历文档树

  1. 直接子节点
    .contents可以将tag的子节点以列表的方式输出
    .children 返回一个list生成器对象，可以通过迭代输出
最低0.47元/天 解锁文章
dreams512
关注
专栏目录
Python之Beautiful Soup 4使用实例
gdjlc的专栏
08-23 753
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。 Beautiful Soup 4 官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 一、安装Beautiful Soup 运行cmd，cd切换到python安装目...
案例：使用BeautifuSoup4的爬虫
人饭子的博客
11-07 375
案例：使用BeautifuSoup4的爬虫 我们以腾讯社招页面来做演示：http://hr.tencent.com/position.php?&start=10#a 使用BeautifuSoup4解析器，将招聘网页上的职位名称、职位类别、招聘人数、工作地点、发布时间，以及每个职位详情的点击链接存储出来。 # bs4_tencent.py from bs4 import B
BeautifulSoup的基础语法
s44359487yad的博客
08-19 1813
注意：前面定义的HTML源码标签对是缺少结束标签的，即没有和标签，但是使用prettify()函数输出的结果已经自动补齐了结束标签，这是BeautifulSoup的一个优点。比如“< a class=“poet” href=“http://example.com/dufu” id=“link1”>杜甫< /a>”，通过调用find_all(‘a’)函数获取所有超链接的HTML源码，再调用get(‘href’)获取超链接的内容，href属性对应的值为：http://example.com/dufu。
PythoN爬虫BeautifulSoup4的小例子
douyunqian668的博客
11-17 962
#__author__ = 'DouYunQian' #coding=utf-8 from bs4 import BeautifulSoup html_doc = """ The Dormouse's story The Dormouse's story Once upon a time there were three little sisters; and their
python beautifulsoup4示例_Python实例---beautifulsoup小Demo
weixin_29231263的博客
12-24 250
豆瓣# coding:utf - 8from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("https://movie.douban.com/")bsObj = BeautifulSoup(html, "lxml") # 将html对象转化为BeautifulSoup对象liList = bsO...
BeautifulSoup4快速上手和示例
qq_40417296的博客
09-27 1129
HTML 标签 学习 BeautifulSoup4 前有必要先对 HTML 文档有一个基本认识，如下代码，HTML 是一个树形组织结构。 &lt;html&gt;       &lt;head&gt;      &lt;title&gt;hello, world&lt;/title&gt;     &lt;/head&gt;     &lt;body&gt;         &lt...
python爬虫必备库BeautifulSoup4学习笔记
05-24
完整介绍了python爬虫必备库BeautifulSoup4库里的几乎所有内容： Table Of Contents - Beautiful Soup 4.2.0 文档 - 对象的种类 - Tag 标签 - Name Tag的名字 - Attributes 操作类似于字典 比如id，class_ - ...
Beautifulsoup学习笔记+实战项目（绝对详细）
12-22
pip install beautifulsoup4 卸载： pip uninstall beautifulsoup4 ## import import requests import os from bs4 import BeautifulSoup import bs4 import re demo r = requests.get("网址") r.encoding = r....
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
Beautifulsoup库分为BS3和BS4两个版本，目前推荐使用BS4，即Beautifulsoup 4。BS4提供了一个统一的接口，可以与多种解析器配合使用，包括Python内置的html.parser、第三方的lxml和html5lib等。这些解析器处理HTML和...
BeautifulSoup4介绍与登录知乎案例
GXH_APOLOGIZE的博客
01-01 1218
一 、BeautifulSoup4介绍 和lxml一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml BeautifulSoup 用来解析 HTML 比较简单，
BeautifulSoup物件初始化工具
小朋友
05-09 218
html.parser： html.parser 为解析 HTML 文件的模组 (module) ，基本使用顺序如下 定义继承自 HTMLParser 的类別 (class) 。 改寫解析 HTML 文件的方法，例如 handle_starttag() 、 handle_endtag() 、 handle_data() 、 handle_comment() 等。 建立繼...
Go-soup-是一个类似于BeautifulSoup采用Go开发的Web爬虫
08-14
soup - 是一个类似于BeautifulSoup采用Go开发的Web爬虫
【Python爬虫】Beautifulsoup4中find_all函数
热门推荐
一个甜甜的大橙子的博客
04-25 2万+
find_all() find_all( name , attrs , recursive , text , **kwargs ) find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件.这里有几个例子: soup.find_all("title") #[<title>The Dormouse's story</title>] soup.f...
Beautiful Soup的用法（四）：find和find_all的使用
haleycat的博客
04-08 5547
使用Beautiful Soup 对网页进行解析，需要根据网页的结构找到自己需要的关键信息，在找分析网页结构和找出关键信息就经常用到的两个函数为find和find_all。 前面我们已经知道，find和find_all是有区别的，主要的区别是，find 的结果是返回一个bs4.element.Tag的对象，而find_all 返回的是一个bs4.element.ResultSet的对象，bs4.element.ResultSet中是一个 bs4.element.Tag的链表。 find和find_all 的
BeautifulSoup对象的find_all()函数介绍
weixin_43765541的博客
04-15 1278
find_all()
BeautifulSoup中的find_all()及select()查找方法
book_dw5189的博客
02-24 3669
BeautifulSoup中的find_all()及select()查找方法
21 BeautifulSoup类的find_all()方法的name属性的用法
weixin_63986098的博客
07-08 2162
当name参数传入的是字符串类型即标签名称的时候，BeautifulSoup会查找与标签名完全匹配的内容。
22 BeautifulSoup类的find_all()方法的其他属性的用法
weixin_63986098的博客
07-09 3326
find_all()方法有6个参数： 【参数1】name：接收tag名称。 【参数2】attrs：参数接收属性的键值对字典。 【参数3】**kwargs：接收变量赋值形式的属性。注意class后的下划线：`class_` 【参数4】text：接收文本信息。 【参数5】limit：限制返回的标签数量。 【参数6】recursive：是否获取子孙节点。 ...
Python BeautifulSoup (bs4) 中 HTML 元素的定位与查找
最新发布
chusheng1840的博客
10-25 609
是由bs4模块提供的一个库，它可以解析 HTML 和 XML 文档，并提供简单的 API 来提取文档中的数据。无论是解析网页中的表格、获取某个特定标签中的文本，还是修改 HTML 文档结构，都能快速高效地完成。在这篇文章中，我们详细介绍了如何使用来解析 HTML 文档并进行元素定位与查找。我们讲解了find()find_all()select()等常用方法的使用，以及如何获取元素的内容和属性。此外，我们还通过遍历 HTML 结构展示了如何更加灵活地操作网页中的数据。希望通过这篇文章，读者能够更好地理解。
beautifulsoup笔记
08-19
在BeautifulSoup库的学习笔记中，介绍了BeautifulSoup库的简介和安装方法。它可以通过pip进行安装，并且有多种解析器可供选择。BeautifulSoup类有五种基本元素，包括Tag标签、Name名字、Attributes属性、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值