BeautifulSoup操作

最新推荐文章于 2024-07-26 17:15:21 发布
最新推荐文章于 2024-07-26 17:15:21 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： python及其应用 文章标签： processing 文档 python import 工具 html
前面向大家介绍了 PyQuery    ，下面转而介绍一下 BeautifulSoup   , Beautiful Soup 是 Python 内置的网页分析工具，名字叫美丽的蝴蝶。呵呵，某些时候确如美丽蝴蝶一样。
    先来段介绍:
    Beautiful Soup 是一个 Python HTML/XML 处理器，设计用来快速地转换网页抓取。以下的特性支撑着 Beautiful Soup：   
  • Beautiful Soup 不会选择 即使你给他一个损坏的标签。 他产生一个转换DOM树，尽可能和你原文档内容含义一致 。这种措施通常能够你搜集数据的需求。
  • Beautiful Soup 提供一些简单的方法以及类Python语法 来查找、查找、修改一颗转换树：一个工具集帮助你解析一棵树并释出你需要的内容。你不需要为每一个应用创建自己的解析工具。
  • Beautiful Soup 自动将送进来的文档转换为 Unicode 编码 而且在输出的时候转换为 UTF-8,。 除非这个文档没有指定编码方式或者Beautiful Soup 没能自动检测编码，你需要手动指定编码方式，否则你不需要考虑编码的问题。

    Beautiful Soup 转换任何你给他的内容，然后为你做那些转换的事情。你可以命令他 “找出所有的链接", 或者 "找出所有 class 是 externalLink 的链接" , 再或者是 "找出所有的链接 url 匹配 ”foo.com", 甚至是 "找出那些表头是粗体文字，然后返回给我文字“.
    那些设计不好的网站中的有价值的数据可以被你一次锁定，原本要花数个小时候的工作，通过使用 Beautiful Soup 可以在几分钟内搞定。
    下面让我们快速开始：
     首先引用包：

  1. from BeautifulSoup import BeautifulSoup          # For processing HTML
  2. from BeautifulSoup import BeautifulStoneSoup     # For processing XML
  3. import BeautifulSoup                             # To get everything[/font][/color]
复制代码

   下面使用一段代码演示Beautiful Soup的基本使用方式。你可以拷贝与粘贴这段代码自己运行。

  1. from BeautifulSoup import BeautifulSoup
  2. import re

  4. doc = ['<html><head><title>Page title</title></head>',
  5.        '<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',
  6.        '<p id="secondpara" align="blah">This is paragraph <b>two</b>.',
  7.        '</html>']
  8. soup = BeautifulSoup(''.join(doc))

  10. print soup.prettify()
  11. # <html>
  12. #  <head>
  13. #   <title>
  14. #    Page title
  15. #   </title>
  16. #  </head>
  17. #  <body>
  18. #   <p id="firstpara" align="center">
  19. #    This is paragraph
  20. #    <b>
  21. #     one
  22. #    </b>
  23. #    .
  24. #   </p>
  25. #   <p id="secondpara" align="blah">
  26. #    This is paragraph
  27. #    <b>
  28. #     two
  29. #    </b>
  30. #    .
  31. #   </p>
  32. #  </body>
  33. # </html>
复制代码

下面是一个解析文档的方法：

  1. soup.contents[0].name
  2. # u'html'

  4. soup.contents[0].contents[0].name
  5. # u'head'

  7. head = soup.contents[0].contents[0]
  8. head.parent.name
  9. # u'html'

  11. head.next
  12. # <title>Page title</title>

  14. head.nextSibling.name
  15. # u'body'

  17. head.nextSibling.contents[0]
  18. # <p id="firstpara" align="center">This is paragraph <b>one</b>.</p>

  20. head.nextSibling.contents[0].nextSibling
  21. # <p id="secondpara" align="blah">This is paragraph <b>two</b>.</p>
复制代码

接着是一打方法查找一文档中包含的标签，或者含有指定属性的标签

  1. titleTag = soup.html.head.title
  2. titleTag
  3. # <title>Page title</title>

  5. titleTag.string
  6. # u'Page title'

  8. len(soup('p'))
  9. # 2

  11. soup.findAll('p', align="center")
  12. # [<p id="firstpara" align="center">This is paragraph <b>one</b>. </p>]

  14. soup.find('p', align="center")
  15. # <p id="firstpara" align="center">This is paragraph <b>one</b>. </p>

  17. soup('p', align="center")[0]['id']
  18. # u'firstpara'

  20. soup.find('p', align=re.compile('^b.*'))['id']
  21. # u'secondpara'

  23. soup.find('p').b.string
  24. # u'one'

  26. soup('p')[1].b.string
  27. # u'two'
复制代码

当然也可以简单地修改文档

  1. titleTag['id'] = 'theTitle'
  2. titleTag.contents[0].replaceWith("New title")
  3. soup.html.head
  4. # <head><title id="theTitle">New title</title></head>

  6. soup.p.extract()
  7. soup.prettify()
  8. # <html>
  9. #  <head>
  10. #   <title id="theTitle">
  11. #    New title
  12. #   </title>
  13. #  </head>
  14. #  <body>
  15. #   <p id="secondpara" align="blah">
  16. #    This is paragraph
  17. #    <b>
  18. #     two
  19. #    </b>
  20. #    .
  21. #   </p>
  22. #  </body>
  23. # </html>

  25. soup.p.replaceWith(soup.b)
  26. # <html>
  27. #  <head>
  28. #   <title id="theTitle">
  29. #    New title
  30. #   </title>
  31. #  </head>
  32. #  <body>
  33. #   <b>
  34. #    two
  35. #   </b>
  36. #  </body>
  37. # </html>

  39. soup.body.insert(0, "This page used to have ")
  40. soup.body.insert(2, " &lt;p&gt; tags!")
  41. soup.body
  42. # <body>This page used to have <b>two</b> &lt;p&gt; tags!</body>

暖洋洋的好日子
关注
专栏目录
BeautifulSoup的基本使用方法
Sfiaflys的博客
07-17 1259
find()与find_all()的区别 首先，请看举例中括号里的class_，这里有一个下划线，是为了和python语法中的类 class区分，避免程序冲突。当然，除了用class属性去匹配，还可以使用其它属性，比如style属性等。 其次，括号中的参数：标签和属性可以任选其一，也可以两个一起使用，这取决于我们要在网页中提取的内容。 如果只用其中一个参数就可以准确定位的话，就只用一个参数检索。如果需要标签和属性同时满足的情况下才能准确定位到我们想找的内容，那就两个参数一起使用。 Tag对象的三种常用
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
09-18
### 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解 在现代网络数据抓取及处理领域，Python凭借其强大的第三方库支持而成为首选工具之一。其中，BeautifulSoup库因其简洁易用且功能强大而在HTML和...
Python 插件杂谈 (4) ---- BeautifulSoup , Python中的网页分析工具
xuhuaijie的专栏
08-15 845
<br />  嗯哼，Meego中文核心站 -- 米趣网 又发新博文啦。<br />     前面向大家介绍了 PyQuery    ，下面转而介绍一下 BeautifulSoup    , Beautiful Soup 是 Python 内置的网页分析工具，名字叫美丽的蝴蝶。呵呵，某些时候确如美丽蝴蝶一样。<br />     先来段介绍:<br />     Beautiful Soup 是一个 Python HTML/XML 处理器，设计用来快速地转换网页抓取。以下的特性支撑着
BeautifulSoup模块
最新发布
又逢乱世
07-26 660
BeautifulSoup 操作html
Selenium+YSlow+ShowSlow实现页面性能评估自动化
风之音
08-09 197
工具介绍 Firebug: 这个不介绍了，居家旅行杀人越货必备的Firefox插件 YSlow: 当Firefox浏览网页时，可以分析网站的页面（基于Yahoo 14条评分原则），并告诉你为了提高网站性能，如何基于某些规则而进行优化 ShowSlow:收集YSlow的测试结果并显示出来 思路整理 使用Selenium编写测试用例依次访问需要测试的站点，设置YSlow每打开一个页面自动...
BeautifulSoup操作大全
weixin_30667301的博客
05-05 266
1 一、获取BeautifulSoup文档的对象 2 1.对象 3 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象, 4 所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment . 5 6 ...
BeautifulSoup基本操作
weixin_44849887的博客
05-24 304
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库. BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，下面是默认的 from bs4 import BeautifulSoup import requests url="https://www.baidu.com/?tn=80035161_1_dg" r=requ...
python中beautifulsoup操作
04-08
BeautifulSoup是Python中一个常用的网页爬虫库，可以用于快速解析HTML和XML文档，提取网页中的数据信息。使用BeautifulSoup操作可以方便地获取页面中的信息，并且可以根据需要提取出想要的部分。
beautifulsoup
08-09
4. 提取和操作数据： 找到元素后，可以获取其文本、属性值，甚至修改它们。 ```python # 获取h1元素的文本 h1_text = headings[0].get_text() # 获取a元素的href属性 link1_href = link1['href'] # 修改元素内容 ...
BeautifulSoup参考文档
07-09
在这个4.4.0版本的参考文档中，你可以找到关于如何使用BeautifulSoup进行各种操作的详细信息。 首先，BeautifulSoup的核心功能是将HTML或XML文档转换为一个可操作的对象树。在示例中，`BeautifulSoup(html_doc, '...
BeautifulSoup用法详解1
08-08
BeautifulSoup 是一个 Python 的库，专门用于解析 HTML 和 XML 文档，从而方便地提取和操作数据。它是一个强大的工具，尤其适合网页抓取和数据挖掘任务。BeautifulSoup 提供了一系列简洁的 Python 函数，使得解析...
网页分析专用工具~！
10-11
作为一个网页制作高手、美工和程序员,我们都有过这样的经历：当看到一个漂亮的Flash的 时候或看到一个精巧的JavaScript功能的时候，使用IE的查看源代码的功能，仔细分析相关 的HTML代码，从临时目录中或网站上取得想要的SWF文件和JS文件。吸取别人优点的做法往 往能够事半功倍，互联网中这样的宝藏真是不计其数！WebPage Spy就是一个帮助我们挖掘这 些宝藏的工具，他能够将您想要从网页中得到的一切分门别类的呈现在您眼前！ WebPage Spy有一个HTML代码分析器，它能够在网页在浏览器显示一个网页的时候自动从其中 分析出该网页所含的HTML文件、Flash文件、JavaScript代码、Style Sheet代码、图像文件、 Applet文件、链接等等。所有这些显示在树形列表中，点击鼠标就可以查看图像和浏览代码， 可以将自己喜欢的文件保存到自己指定的目录中。 WebPage Spy还提供了许多附件来增强IE的功能，这些功能添加在同内容相关的右键菜单中， 您可以根据自己的需要选用：您可以使用“搜索包含此内容的网站“和“在新闻组中搜索此内容” 功能在互联网上搜索在网页中选中的文字；您可以使用“查看所选部分的代码”来查看网页的 部分HTML代码，方便程序调试和代码分析；“放大“、“缩小”和“高亮度显示文字”功能方便您在 演示的时候更好的标示重点，等等。 WebPage Spy还将常用的IE配置功能通过菜单的方式提供，您只要点击一下就可以达到目的， 再也不用总是进入“工具/Internet选项”，在选项卡中来回翻找。提供的快捷功能有：删除临 时文件，删除cookies，清除历史纪录。提供的选项开关有：显示图片，禁止脚本调试，启用 自动完成功能，允许脚本运行，允许Java Applet运行，允许ActiveX和插件运行。 赶快拥有WebPage Spy，发掘网页中无尽的宝藏！ 产品特性 * 在您浏览网页的同时自动运行; * 同IE完美集成，可以象收藏夹那样显示和关闭; * 支持含Frame和IFrame的网页; * 将Flash, 图像, JavaScript, Style Sheet, 链接分类显示在树中; * 能够生成网页的所含外部元素的报告，并估算整个网页完全下载所需的时间; * 双击鼠标查看JavaScript, Style Sheet和网页的源代码; * 保存任何喜欢的内容; * 提供很多增强IE功能的附件; * 自定义增加的附件的数量; * 提供改变IE设置的快捷操作; * 图像列表可以将页面背景图，表格背景图等都列举出来; * JavaScript和Style Sheet列表包含链接的外部文件，也包含网页中内含的代码。
网页调试分析工具
04-25
网页调试分析工具，网页分析调试工具，网页调试分析工具，网页分析调试工具
web页面HTML分析工具
06-18
软件名称：WEB页面HTML分析工具软件版本：V1.0软件用途：自动分析网页中包含的对象，包括所有的：文本，Script脚本，连接 的文件(Link)，超级链接的地址，图像及其URL地址，框架(Frame)及 其URL地址，表单(Form)目标URL地址。您可以由此方便的得到一个网 页中包含的所有元素，便于您分析、学习和利用他人的精美网页。另 外的一个妙用之处，就是可以对任何经过处理的、禁止拷贝页面文字 的网页进行轻松"破解"，毫不费力地得到网页上显示出来的全部文字。 本软件支持Unicode编码的各种html文件，JS文件，CSS文件的浏览察 看。目标用户：网页开发者，对精美网页的结构感兴趣者，想轻松拷贝网页文字者！
HttpWatch网页数据分析工具
01-10
HttpWatch是强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出.HttpWatch 是一款能够收集并显示页页深层信息的软件。它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。甚至可以显示浏览器缓存和IE之间的交换信息。集成在Internet Explorer工具栏。 　　只需要选择相应的网站，软件就可以对网站与IE之间的需求回复的通讯情况进行分析并在同一界面显示其相应日志记录。每一个HTTP记录都可以详细的分析其 Cookies、消息头、字符查询等信息。支持HTTPS及分析报告输出为XML、CSV等格式。
最强大的POSTDATA网页数据分析工具
09-13
能够收集并显示页页深层信息的软件。它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。甚至可以显示浏览器缓存和IE之间的交换信息。集成在Internet Explorer工具栏。
10个免费网页统计与分析工具
solorez
08-28 1087
原文作者：Aidan Henry原文链接：10 Free, Innovative Web Analytics Tools译者：WeBeta提起免费网页统计与分析工具，大多数人首先想到的就是 Google Analytics。然而还有很多其他免费、创新可用于页面统计分析的工具。这些工具具有检测用户行为、搜索引擎流量、实时用户跟踪以及其他很多功能。下面提到的10个工具产品可以帮你进行网页统计分析，以提...
用YSlow分析我们页面
gui1401的专栏
05-13 129
YSlow是yahoo美国开发的一个页面评分插件，非常的棒，从中我们可以看出我们页面上的很多不足，并且可以知道我们改怎么却改进和优化。 仔细研究了下YSlow跌评分规则。 主要有12条： 1. Make fewer HTTP requests 尽可能少的http请求。。我们有141个请求（其中15个JS请求，3个CSS请求，47个CSS background images请求），多的可怕。思考了下...
【python初级】使用bs4. BeautifulSoup解析网页介绍
jn10010537的博客
11-08 1238
这里写目录标题一级目录安装三级目录 一级目录 安装 pip install bs4 C:\Users\G7>pip install bs4 Collecting bs4 Downloading bs4-0.0.1.tar.gz (1.1 kB) Collecting beautifulsoup4 Downloading beautifulsoup4-4.9.3-py3-none-any.whl (115 kB) |████████████████████████████████| 1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值