解析网页--BeautifulSoup-bs4-python爬虫知识点6

已于 2022-02-25 17:45:16 修改
阅读量725 收藏 5
点赞数
分类专栏： python爬虫知识 文章标签： python
于 2021-05-08 19:50:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43761516/article/details/116501363
版权

BeautifulSoup

一、BeautifulSoup基本信息

定义

  • 主要学bs4.BeautifulSoup，bs4内的一个非常好用的模块，美丽的汤，bs4：Beautiful Soup4
  • Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库

安装

  • pip install lxml
  • pip install bs4

作用

  • 解析网页和提取网页的数据
  • PC端 网站中爬出数据 每一个网站都有自己的开发准则，只有多多掌握多种解析网页的技术，才能找到最合适的技术
  • 最重要的是 find find_all

二、创建bs对象

  • soup=BeautifulSoup(markup=’’, features=None)
    • markup填的就是html格式源代码的字符串对象或xml源代码的elememt对象，看你选择哪种解释器
    • features填的是解释器，有四种，features关键字可以不用填
    • 返回的soup是bs4.BeautifulSoup对象，也叫bs对象
解释器 使用方法 特点
python标准库 BeautifulSoup(markup,‘html.parser’ ) 不好用不用
lxml html 解释器 BeautifulSoup(markup,‘lxml’ ) 最常用，速度快，文档容错能力强，支持的html文档
lxml xml 解释器 BeautifulSoup(markup,[lxml’,‘xml’] ) 或 BeautifulSoup(markup,‘xml’) 不常用，唯一支持xml的解析器
html5lib BeautifulSoup(markup,‘html5lib’) 不常用，是谷歌做的，可以针对那些网页标签缺失与错落，有最好的容错性，一浏览器的方式解析文档，生成html5lib格式的文档 ，速度慢，不依赖外部扩展

三、对soup的对象进行解析

例子：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://ex
最低0.47元/天 解锁文章
洋芋本人
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
beautifulsoup教程
雨夜的博客
08-28 854
beautifulsoup教程 #yuxiangShi/学习/爬虫/beautifulsoup教程 BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用l
python爬虫（三）------bs4库（一）------BeautifulSoup()和Tag对象的各种方法
m0_59389084的博客
08-11 1224
python爬虫（三）------bs4库（一）------BeautifulSoup()和Tag对象的各种方法
python-14（BS4解析网页）
最新发布
2302_79087378的博客
05-27 714
是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
Python爬虫学习笔记（六）————BeautifulSoup（bs4）解析
laosao_66的博客
07-17 2089
(1).获取节点内容：适用于标签中嵌套标签的结构 obj.string obj.get_text()【推荐】 (2).节点的属性 tag.name 获取标签名 eg:tag = find('li) print(tag.name) tag.attrs将属性值作为一个字典返回 (3).获取节点属性 obj.attrs.get('title')【常用】 obj.get('title') obj['title']注意：默认打开文件的编码格式gbk所以需要指定打开编码格式。（3）缺点：效率没有lxml的效率高。
beautifulsoup4 去除各种特殊字符
ROSE_ty的博客
03-10 6482
在使用Python爬虫的时候，对于 html 中存在很多空行，空格的处理问题。 很多文章是存 word 中直接复制到到网页上的，对于这种方式编辑的 html 结构可能比较混乱。如何净化或者说格式化这种 html，快速过滤出换行符、空格、中文空格等。 在jupyter notebook里面，以下为步骤： 1.首先 import re 2.其次a = re.comp...
python用BeautifulSoup解析源码时，去除空格及换行符
weixin_30596343的博客
09-05 1569
一、去除空格 　　strip() " xyz ".strip() # returns "xyz" " xyz ".lstrip() # returns "xyz " " xyz ".rstrip() # returns " xyz" " x y z ".replace(' ', '') #...
Python-知乎爬虫python27requestsjsonbs4time
08-10
标题 "Python-知乎爬虫python27requestsjsonbs4time" 暗示这是一个使用 Python 2.7 版本，结合 requests、json、bs4 和 time 库编写的知乎爬虫项目。在这个项目中，开发者可能实现了抓取知乎网站上的特定数据，如...
Python-用Python编写的Cryptocurrency历史市场价格数据爬虫
08-12
3. **CSS选择器与XPath**: `BeautifulSoup`配合CSS选择器（如`bs4.element.Tag.select`）或XPath（如`lxml`库），可以高效定位到网页中的特定元素。CSS选择器类似于CSS样式规则，而XPath则是XML路径语言，两者都能...
python爬虫-小站音乐爬虫
09-09
总结，本项目"python爬虫-小站音乐爬虫"主要涉及以下知识点： 1. Python基础爬虫技术：使用Requests库发送HTTP请求，BeautifulSoup库解析HTML。 2. HTML标签和属性定位：通过CSS选择器找到目标元素。 3. 文件下载：...
爬虫-使用python开发的多线程爬虫工具
01-17
Python是一种广泛应用于Web数据...通过以上步骤，你可以构建一个基本的多线程Python爬虫工具。随着需求的复杂化，你可能需要学习更多关于网络请求、HTML解析、数据存储以及并发控制的知识，以应对更复杂的Web抓取场景。
Python-对懂球帝的文章进行有条件爬取
08-10
下面将详细解释这些知识点。 1. **requests库**：这是Python中最常用的HTTP库，用于发送HTTP请求。在爬虫项目中，我们通常用它来获取网页的HTML源代码。例如，我们可以使用`requests.get(url)`方法向懂球帝的网站...
bs4三种 删除clear、decompose、extract的区别
weixin_42039715的博客
06-15 595
这里写自定义目录标题1. clear2. decompose3.extract 1. clear 清除标签内的内容（包括子标签和文本） html = "<html><body><p><a></a></p></body></html>" soup.p.clear() # <html><body><p></p></body></html> 2.
python爬虫之bs4网页解析
qq_43537145的博客
03-31 4273
eautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。 Beautiful Soup已成为和
bs4 删除clear、decompose、extract的区别
yezi1993的博客
12-16 2008
1. clear 清除标签内的内容（包括子标签和文本） html = "<html><body><p><a></a></p></body></html>" soup.p.clear() # <html><body><p></p></body></html> 2. decompose 清除标签（包括该标签）的内容（包括子标签和文本） html
python爬虫之bs4模块（超详细）
热门推荐
weixin_54787921的博客
06-09 3万+
python爬虫之bs4模块一、bs4简介二、使用方法三、BeautifulSoup四大对象种类（1）tag（2）NavigableString（3）BeautifulSoup（4）Comment四、CSS选择器 一、bs4简介 即BeautifulSoup，是python种的一个库，最主要的内容就是从网页中抓取数据。 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以
H5移动网页 苹果键盘修改 换行 为 搜索
Lenny-zlp的博客
09-09 808
input 放在 form标签内 type=“search” form 标签加上 action="javascript:return true" <form action="javascript:return true"> <input type="search" placeholder="搜索商品" value="" name="keyword" class="Myseach" /> </form> 效果如图 ...
Python爬虫：BeautifulSoup库
不怕猫的耗子A
08-12 1万+
Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...
python beautiful soup库的用法
weixin_34127717的博客
03-09 2934
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
Phython—实训day5—爬虫相关知识
#请假条的博客
09-22 687
1爬虫练习（urllib+xpath） 爬取某公司官网新闻中心板块（“http://www.tipdm.com/xwzx/index.jhtml”）中的新闻标题和新闻内容，爬取页数为5页。要求：使用urllib库实现HTTP请求的发送，使用Xpath进行网页解析，最后将爬取到的内容保存至Excel文件中。 1.1第一页数据的爬取 #导入相应库 from urllib import request from lxml import etree import pandas as pd #安装命令：pi.
爬虫系列二(数据清洗--->bs4解析数据)
06-10
那么针对数据清洗和 bs4 解析数据的问题，我可以给您提供一些基本的知识点和操作方法，希望能帮到您。 首先，数据清洗是指对爬取到的原始数据进行处理，去除掉其中的无用信息，使其变得更加规范和易于处理。常见的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

洋芋本人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值