【网页爬虫】前端网页入门之py中使用BeautifulSoup爬取本地网页（三）

最新推荐文章于 2021-04-17 17:00:52 发布
最新推荐文章于 2021-04-17 17:00:52 发布
阅读量621 收藏
点赞数
分类专栏： 网页基础 文章标签： 网页基础 信息获取 网页爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jessica__lu/article/details/85933835
版权
本文是作者作为新手的爬虫练习，利用BeautifulSoup解析本地网页，提取图片、标题、价格、评论数和星星数量（星级）。重点介绍了如何识别并获取星星数量，通过观察网页结构，使用nth-of-type(2)选择器，并用find_all()方法解决问题。文章最后展示了实践效果，并预告将尝试在实际网页中爬取数据。
摘要由CSDN通过智能技术生成

继昨天学习在本地截取网页信息之后，决心做个小练习巩固一下自己，在练习的过程中不但回顾了一下昨天所学知识，并且发现一些小小的新知识点记录下来~
萌新一枚，如有不对，大神们轻喷！！！

正文开始~

今日练习目标：沿袭昨天使用BeautifulSoup的套路，对这个网页的图片，标题，价格，评论数，星级进行获取
难点发现：对于星星颗数的获取（就是自动识别点亮了几个星星）
在这里插入图片描述

因每颗星星都对应着一行代码，图片中的五颗星星就对应了五行代码，
为了让其通过一行代码就显示，观察网页，多取几颗星星的selector发现规律：
从父节点开始取，此处保留：nth-of-type（2）
在这里插入图片描述

接下来就是今天疑惑的难点，对于星星数量的获取
此处使用find all（） 方法来解决
在这里插入图片描述

由此再加上昨天的学习内容
解析本地网页&#x

最低0.47元/天 解锁文章
jessica__lu
关注
专栏目录
Python爬虫 | 使用Selenium和BeautifulSoup爬取xxx余票信息并保存到Excel文件、表格、图表
weixin_43263566的博客
06-24 445
Python爬虫 | 使用Selenium和BeautifulSoup爬取xxx某余票信息并保存到Excel文件
Python爬虫入门教程！手把手教会你爬取网页数据
web17886480312的博客
07-28 1万+
爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。爬虫流程其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤模拟请求网页。模拟浏览器，打开目标网站。获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用Python来编写自己的爬虫程序呢，在这里我要重点介绍一个Python库Requests。r?...
【网页爬虫】前端网页入门之py中使用BeautifulSoup爬取本地网页（二）
jessica__lu的博客
01-05 1209
前端网页入门之了解网页元素 本节目标：学会筛选出评分大于3的文章，并且展示其标题与对应的分类 S1 使用BeautifulSoup解析网页 Soup = BeautifulSoup(html,‘lxml’) 左边：汤 右边：如何做汤的汤料以及食谱 从谷歌浏览器复制下来的代码一般有两种复制形式： （1）对于需要的部分右键检查，对于源码copy选择copy selector CSS Selector：...
beaurifulsoup读取本地网页数据并存入csv
mr_xinL的博客
03-17 398
毕业穷狗采用了paperYY查重，查重内容是以html显示，为了方便修改论文里面重复的地方，只能先把网页内容爬出来，然后再说。 直接上代码 from bs4 import BeautifulSoup import csv #读取本地网页 with open('C:/Dsoftdisk/python/paper check/allreport.html', 'r',encoding='utf8')a...
python3爬虫（二）-使用beautiful soup 读取网页
changzoe的博客
01-17 9608
HTML常用标签 Beautiful Soup简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautifu
爬虫系列（1）：使用BeautifulSoup爬取网页
Ares_WangZiquan的博客
03-05 8829
爬虫系列（1）：使用BeautifulSoup爬取网页前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： imp
python beautifulsoup抓取网页内容_使用 Python BeautifulSoup4 快速获取网页内容
weixin_39814482的博客
03-01 961
BeautifulSoup4 能够帮助我们从 HTML 或 XML 文件中提取数据安装pip install beautifulsoup4解析器使用方法优势劣势Python 标准库BeautifulSoup(markup, “html.parser”)Python 的内置标准库 执行速度适中 文档容错能力强Python 2.7.3 or 3.2.2) 前 的版本中文档容错能力差lxml HTML ...
Python 爬虫框架Scrapy的安装与基本使用（入门）
LU_ZHAO的博客
02-29 824
什么是爬虫 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 简单来说，就是通过程序从web网页上获取自己想要的数据，即自动抓取数据。 爬虫的本质 模拟浏览器发送请求从而获取我们想要的数据。 浏览器打开网页的过程：当你在浏览器中输入地址后，通过D...
python lxml.html Beautifulsoup 打开 本地html 文件方法
liugaoxingliushi的专栏
02-27 4520
python 打开 本地html 文件方法,lxml BS4open local .html file REF: https://docs.python-guide.org/scenarios/scrape/ https://www.datacamp.com/community/tutorials/python-xml-elementtree 1lxml.html from l...
（二）BeautifulSoup库入门 | python爬虫实战
weixin_44242764的博客
11-22 339
BeautifulSoup库安装：pip3 install beautifulsoup4 HTML相当于一个标签树 BeautifulSoup库是解析、遍历、维护“标签树”的功能库 BeautifulSoup类的常用解析器 解析器 使用方法 条件 bs4的HTML解析器 BeautifulSoup(mk,‘html.parser’) 安装bs4库 lxml的HTML解析器 BeautifulSoup(mk,‘lxml’) pip install lxml lxml的XML解析器 Be
Py爬虫学习笔记：Beautiful Soup实战——认识Beautiful Soup
weixin_44980720的博客
04-17 185
Beautiful Soup Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库 环境安装 使用pip install beautifulsoup4 代码演示 尝试使用一段简单的代码讲解Beautiful Soup的使用 from bs4 import BeautifulSoup # 1. 引入BeautifulSoup解析库 html = """ <html> <head> <title>优课达</title&gt
python中soup_用漂亮的Soup解析python中的web页面
weixin_39619478的博客
12-10 288
使用BeautifulSoup的秘诀是找到HTML文档的隐藏模式。例如，你的循环for ul in soup.findAll('p') :print(ul)是在正确的方向上，但它将返回所有段落，而不仅仅是您正在寻找的段落。但是，您要查找的段落具有类i的有用属性。在这些段落中，可以找到两个跨度，一个是类i，另一个是类vi。我们很幸运，因为这些跨度包含您要查找的数据：Tytuł...............
Python2 爬虫（九） -- Scrapy & BeautifulSoup之再爬CSDN博文
指尖飞舞
06-02 1万+
序 我的Python3爬虫（五）博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务。 链接：Python3 爬虫（五） -- 单线程爬取我的CSDN全部博文 上一篇Python3 爬虫（八） -- BeautifulSoup之再次爬取CSDN博文，我们就利用BeautifulSoup4重新实现了一次爬取csdn博文的任务。 那么，既然认识了Scrapy和
python怎么打出来大标题_如何在文本中打印所有标题-Python/BeautifulSoup
weixin_42138525的博客
12-23 804
匿名用户只需循环遍历结果，并使用.text在每个标记中打印文本。将上一个for循环替换为:for property in content:names=property.find_all('h2',class_='smaller')for name in names:print(name.text)完整代码:import pandas as pdfrom bs4 import BeautifulSo...
python读取本地网页_Python读取本地文件并解析网页元素的方法
weixin_42502736的博客
02-21 1084
如下所示：from bs4 import BeautifulSouppath = './web/new_index.html'with open(path, 'r') as f:Soup = BeautifulSoup(f.read(), 'lxml')titles = Soup.select('ul > li > div.article-info > h3 > a')fo...
使用Python3和BeautifulSoup4处理本地html文件
xlynx的博客
09-27 4768
文章目录遇到的问题初始需要处理的文本搜索和替换的一些常用正则表达式python3中使用beautifulsoup4beautifulsoup4是什么？安装beautifulsoup4开始使用beautifulsoup4其他的一些小细节python3中将list合并转为string最终的代码（python3）参考资料 我的博客地址：https://hxd.red 原文链接：https://hxd....
beautifulsoup 解析html方法（爬虫）
热门推荐
wml
06-22 3万+
用BeautifulSoup 解析html和xml字符串 实例： #!/usr/bin/python # -*- coding: UTF-8 -*- from bs4 import BeautifulSoup import re #待分析字符串 html_doc = """ &lt;html&gt; &lt;head&gt; &lt;title&gt;The Dormouse's...
Python网络爬虫使用BeautifulSoup爬取网页的内容
最新发布
03-25
回答：Python网络爬虫使用BeautifulSoup可以很方便地解析HTML或XML等结构化数据，从而获取所需的信息。可以使用requests库发送请求，然后使用BeautifulSoup库解析网页内容，通过选择器或标签找到所需内容并提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值