BeautifulSoup学习笔记

最新推荐文章于 2024-07-27 12:20:46 发布
最新推荐文章于 2024-07-27 12:20:46 发布
阅读量133 收藏
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/xiamaogeng/p/4646313.html
版权
本文使用的是BeautifulSoup 3，现在已经有BeautifulSoup4了，名字改为bs4
 
（1）下载与安装
1
2
# BeautifulSoup 的下载与安装
pip install BeautifulSoup
另外也可以下载安装包进行安装
（2）快速开始
1
2
3
4
# BeautifulSoup 快速开始
html_doc  =  urllib2.urlopen( 'http://baike.baidu.com/view/1059363.htm' )
soup  =  BeautifulSoup(html_doc)
print  soup.title
结果：
1
2
# BeautifulSoup 结果
<title>前门大街_百度百科< / title>
（3）BeautifulSoup对象介绍
BeautifulSoup中主要包含三种类型的对象：
  • BeautifulSoup.BeautifulSoup
  • BeautifulSoup.Tag
  • BeautifulSoup.NavigableString
通过下面例子来认识上面的三种数据类型：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# BeautifulSoup 示例
from  BeautifulSoup  import  BeautifulSoup
import  urllib2
 
html_doc  =  urllib2.urlopen( 'http://www.baidu.com' )
 
soup  =  BeautifulSoup(html_doc)
 
print  type (soup)
print  type (soup.title)
print  type (soup.title.string)
 
print  soup.title
print  soup.title.string
结果为
1
2
3
4
5
6
7
8
# BeautifulSoup 示例结果
< class  'BeautifulSoup.BeautifulSoup' >
< class  'BeautifulSoup.Tag' >
< class  'BeautifulSoup.NavigableString' >
<title>百度一下，你就知道< / title>
百度一下，你就知道
print  soup.title
print  soup.title.string
从上面的例子可以比较清晰的看到BeautifulSoup主要包括三种类型的对象。
  • BeautifulSoup.BeautifulSoup //BeautifulSoup对象
  • BeautifulSoup.Tag //标签对象
  • BeautifulSoup.NavigableString //导航string文本对象
（4）BeautifulSoup剖析树
1. BeautifulSoup.Tag对象方法
获取标记对象，通过点号获取Tag对象
1
2
3
4
5
6
7
8
9
10
# BeautifulSoup 示例
title  =  soup.title
print  type (title.contents)
print  title.contents
print  title.contents[ 0 ]
 
# BeautifulSoup 示例结果
< type  'list' >
[u '\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053' ]
百度一下，你就知道
contents方法
获得当前标签的内容list，如果该标签没有子标签，那么string方法和contents[0]得到的内容是一样的。见上面示例
next，parent方法
获得当前的标签的子标签和父标签
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# BeautifulSoup 示例
html  =  soup.html
print  html. next
print  ''
print  html. next . next
print  html. next . next .nextSibling
 
# BeautifulSoup 示例结果
<head><meta http - equiv = "content-type"  content = "text/html;charset=utf-8"  / ><meta http - equiv = "X-UA-Compatible" content = "IE=Edge"  / ><meta content = "always"  name = "referrer"  / ><meta name = "theme-color"  content = "#2932e1"  / ><link rel = "shortcut icon"  href = "/favicon.ico"  type = "image/x-icon"  / ><link rel = "icon"  sizes = "any"  mask = "mask"  href = "//www.baidu.com/img/baidu.svg"  / ><link rel = "dns-prefetch"  href = "//s1.bdstatic.com"  / ><link rel = "dns-prefetch"  href = "//t1.baidu.com"  / ><link rel = "dns-prefetch"  href = "//t2.baidu.com"  / ><link rel = "dns-prefetch"  href = "//t3.baidu.com"  / ><link rel = "dns-prefetch"  href = "//t10.baidu.com"  / ><link rel = "dns-prefetch"  href = "//t11.baidu.com"  / ><link rel = "dns-prefetch"  href = "//t12.baidu.com"  / ><link rel = "dns-prefetch"  href = "//b1.bdstatic.com"  / ><title>百度一下，你就知道< / title>
......
< / head>
 
<meta http - equiv = "content-type"  content = "text/html;charset=utf-8"  / >
<meta http - equiv = "X-UA-Compatible"  content = "IE=Edge"  / >
nextSibling，previousSibling
获得当前标签的下一个兄弟标签和前一个兄弟标签

 

转载于:https://www.cnblogs.com/xiamaogeng/p/4646313.html

dez62024
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BeautifulSoup库用法总结
weixin_41082042的博客
01-27 5614
BeautifulSoup库用法总结第1步、解析网页 有四种解析方式： （1）‘html.parser’解析 速度适中，容错能力强 （2）’lxml’解析 速度快，容错能力强 （3）’xml’解析 速度快，唯一支持xml的解析器 （4）’html5lib’解析 速度慢点，最好的容错性 第2步、从网页找自己想要的东西的方法 主要有： 一、搜索文档树 （1）find()
BeautifulSoup检索多级标签
a626785667的博客
12-19 5575
对于这样的多级标签 <li class="l_reply_num" style="margin-left:8px"> <span class="red" style="margin-right:3px">4790</span>回复贴，共 <span class="red">36</span>页 </li&...
BeautifulSoup 利用Find_all（）多级标签索引和获取标签中的属性内容
热门推荐
learner_syj的博客
10-02 3万+
BeautifulSoup详解 BeautifulSoup是Python爬虫常用的一个库，起到解析页面的功能。但是我们课上的老师没有把这个库详细的讲，所以我利用网上的资源自己整合一下，写一篇Blog来学习一下~ 首先是BeautifulSoup库的安装： 命令行运行: pip3 install beautifulsoup4 BeautifulSoup的解析器： 我们常用html.parser解析器 解析器 使用方法 优势 Python标准库 BeautifulSoup(response
BeautifulSoup解析模块
weixin_41968877的博客
03-11 98
BeautifulSoup解析模块 简介： Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. 使用 from bs4 import BeautifulSouphtml_doc = """<html><head>&...
史上最全的BeautifulSoup解析（基本选择器，标准选择器，css选择器）
HaLosec_Wei
04-08 1万+
#写在前面基本使用html = """ &lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse's story&lt;/title&gt;&lt;/head&gt; &lt;body&gt; &lt;p class="title" name="dromouse"&gt;&lt;
beautifulsoup学习笔记
weixin_55704749的博客
01-12 132
链接 链接文本，属性文本获取
Beautifulsoup学习笔记+实战项目（绝对详细）
12-22
pip install beautifulsoup4 卸载： pip uninstall beautifulsoup4 ## import import requests import os from bs4 import BeautifulSoup import bs4 import re demo r = requests.get("网址") r.encoding = r....
python爬虫必备库BeautifulSoup4学习笔记
05-24
完整介绍了python爬虫必备库BeautifulSoup4库里的几乎所有内容： Table Of Contents - Beautiful Soup 4.2.0 文档 - 对象的种类 - Tag 标签 - Name Tag的名字 - Attributes 操作类似于字典 比如id，class_ - ...
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**Python 爬虫Beautifulsoup模块详解** 在Python爬虫领域，Beautifulsoup是一个不可或缺的工具，它是一个用于从HTML或XML文件中提取数据的库。它提供了简单的API，使得开发者可以方便地对网页进行导航、搜索和修改...
python 爬虫学习笔记
03-09
Python 爬虫学习笔记 本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...
个人python学习笔记
05-16
本资源“个人python学习笔记”是一份全面的Python学习资料，覆盖了从基础到进阶的多个主题。 一、基础语法 Python的基础语法包括变量定义、数据类型（如整型、浮点型、字符串、布尔型、列表、元组、字典等）、流程...
bs4中的BeautifulSoup
坑底Z蛙
05-28 1200
# -*- coding: utf-8 -*- #爬取的网页为：http://www.pythonscraping.com/pages/warandpeace.html from urllib.request import urlopen from bs4 import BeautifulSoup html=urlopen("http://www.pythonscraping.com/pages/...
BeautifulSoup库之find、findAll和children、descendants
anmo1221的博客
09-02 9058
BeautifulSoup库提供了一些方法和属性去解析HTML，将HTML页面映射成一棵树。 一、其中findAll函数通过标签的名称和属性来查找标签，返回一个列表 例如： from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.co
BeautifulSoup 获取第二个span标签内容
徐代龙的技术专栏
05-21 2万+
场景 声明下：这里把span标签替换成a标签是一样的逻辑。 &lt;a href="http://example.com/elsie" class="sister" id="link1"&gt;Elsie&lt;/a&gt; &lt;a href="http://example.com/lacie" class="sister" id="link2&quo
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
最新发布
qq_64603703的博客
07-27 945
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 1043
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 679
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
beautifulsoup笔记
08-19
BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。它提供了一种简单而灵活的方式来解析和遍历标记文档，并提供了许多有用的方法和属性来获取所需的信息。 在BeautifulSoup库的学习笔记中，介绍了BeautifulSoup库的简介和安装方法。它可以通过pip进行安装，并且有多种解析器可供选择。BeautifulSoup类有五种基本元素，包括Tag标签、Name名字、Attributes属性、NavigableString非属性字符串和Comment注释。它们可以用于遍历标签树的下行、上行和平行遍历。此外，BeautifulSoup几乎覆盖了HTML和XML中的所有内容，还包括一些特殊对象，例如文档的注释部分。 需要注意的是，BeautifulSoup对象本身不是真正的HTML或XML的tag，因此它没有name和attribute属性。但是，在某些情况下，查看它的.name属性是很方便的，因此BeautifulSoup对象包含了一个特殊属性.name，其值为"[document]"。另外，还有一些特殊对象，例如注释对象，可以通过使用BeautifulSoup库来处理。 综上所述，BeautifulSoup库提供了强大的解析和提取HTML或XML中数据的功能，适用于各种爬虫和数据提取任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [BeautifulSoup库学习笔记一](https://blog.csdn.net/weixin_43978546/article/details/104858873)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [BeautifulSoup 学习笔记](https://blog.csdn.net/zhengjian0617/article/details/81142540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值