Python爬虫|网友评价告诉你《你好，李焕英》为什么这么火！——XPath解析案例

已于 2023-04-09 22:57:29 修改
阅读量1k 收藏 2
点赞数
分类专栏： python爬虫 文章标签： python 爬虫 豆瓣电影
于 2021-03-08 09:53:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22170875/article/details/114521174
版权
本文通过Python爬虫技术，详细讲解了如何抓取并解析豆瓣电影《你好，李焕英》的用户短评，将短评保存至文本文件，并利用分词生成不同形状的词云图，揭示了影片受好评的原因。
摘要由CSDN通过智能技术生成

欢迎大家关注我的微信公众号！
名称：爬虫与地理信息

一、爬虫思路分析

点击划线处进入到短评页面，鼠标右击检查进入浏览器调试页面。

在这里插入图片描述

通过分析，每一条短评属于一个div标签，class名为comment-item，每一页显示固定数量的短评。

在这里插入图片描述
在这里插入图片描述

点开第一个，可以发现我们要找的评价语在一个标签中。通过点击下方的翻页，可以观察到每一页的url地址规律，发现只有一个参数start在变化，说明其为页面参数。照此规律，我们依次构造每一页的访问地址。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
遥感与地理信息
关注
专栏目录
订阅专栏
python爬虫数据解析xpath解析详细讲解——附有详细案例
getture的博客
11-05 4万+
1.什么是xpath 菜鸟教程这么解释的 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 百度百科这么解释的 是一种用来确定XML文档中某部分位置的语言 是最常用的最广泛的数据解析方式 2.xpath解析原理 ①实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 ②调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获 3.环境的安装 pi
Python爬虫|图书Top250——BeautifulSou解析案例
独学而无友，则孤陋而寡闻
03-08 2501
​通过python编写爬虫程序，获取豆瓣图书Top250的书籍信息，制作书单! 一、爬取思路分析 1.URL链接地址分析 首先打开豆瓣图书Top250主页：https://book.douban.com/top250，鼠标滑到页面下方可以看见有页面选项，我们通过点击不同页面即可发现url链接地址的变化规律。 查阅前三页的url分别如下，可以发现一直变化的为最后一个参数start，其值的变化规律为25*（n-1），n为页数，依此我们可以构造出所有的url。 2.网页源码分析 鼠标右击检查或按F12打开调试页面
python爬取《你好, 李焕英》豆瓣评论数据
python技巧分享
03-03 3207
# 导入工具包 import requests from bs4 import BeautifulSoup import time import pandas as pd import numpy as np # 请求头 headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'} # =
《你好，李焕英》爆红，Python爬虫+数据分析告你票房为什么这么高？
闭关修炼——暂退
02-23 1万+
春节档贺岁片《你好，李焕英》，于2月23日最新数据出来后，票房已经突破42亿，并且赶超其他贺岁片，成为2021的一匹黑马。 从小品演员再到导演，贾玲处女作《你好李焕英》，为何能这么火？接下来荣仔带你运用Python借助电影网站从各个角度剖析这部电影喜得高票房的原因。 目录 1 影评爬取并词云分析 1.1 网站选取 1.2 爬取思路 1.3 代码总观 2 实时票房搜集 2.1 网站选择 2.2 代码编写 2.3 结果展示 3 剧组照片爬取 3.1 网站选择 3.2 代码编...
Python之爬取《你好，李焕英》电影豆瓣短评
qq_38230663的博客
05-16 1万+
2021年春节档热播电影《你好，李焕英》，拿下累计票房54.12亿，一路杀进中国票房榜前五，堪称票房黑马。今天就以《你好，李焕英》这部电影为例，利用Python中的Xpath爬取其豆瓣短评，爬取的字段主要有：评论者、评分、评论日期、点赞数以及评论内容。该案例难度系数不大，刚好作为入门案例，废话不多说，让我们一起去看看吧！ 注：虽然在短评首页显示《你好，李焕英》共有41万多条短评，但是当浏览时，却发现只能查看前25页的短评，也就是说用户只能看到500条短评评论。发现这个问题后，查阅了一些相关资料，原来是
Python爬虫爬取《你好，李焕英》的豆瓣短评做成云图
m0_50802447的博客
03-05 658
Python爬虫爬取《你好，李焕英》的豆瓣短评做成云图
用代码生成炫酷的词云图—《你好，李焕英》
MTbaby的博客
03-16 1204
最近比较火的电影《你好，李焕英》莫名戳中了大家的泪点，应用评论中的一句“妈妈永远比想象中的要爱我们” 虽然我没哭，但看大家都哭了，说明电影不在于多有深意，而是能引起大家共鸣的电影，才是好电影。 (完全瞎编的） 下面我们就来看一下《你好，李焕英》在豆瓣影评中都有哪些优质的评论以及出现最多的词是哪些。 1.确定数据所在的url https://movie.douban.com/subject/34841067/comments?percent_type=h&limit=20&status=P&a
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影
最新发布
2401_84009698的博客
04-21 1102
而在a标签下的第二个span标签中包含的文本内容是电影的英文标题，所以我们只需要将span[1]改成span[2]就可以获取到电影的英文标题。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。定位到a标签，要取其属性href的值需要在该路径后加上/@href 即可。将这些信息打印看一下是否获取到正确信息：我们已经获取到了第一部电影的中英文标题和详情页链接，它们都各自存放在一个列表中。
万字博文教你python爬虫XPath库【详解篇】
热门推荐
孤寒者的博客
09-29 57万+
 ????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????    ????第一篇爬虫入坑文；一篇万字博文带你入坑爬虫这条不归路 【万字图文】????  ????第二篇爬虫库requests库详解。两万字博文教你python爬虫requests库【详解篇】????    ????但是爬虫爬虫，重在爬取到我们想要的数据，那么我们该如何提取页面中我们所需要的信息呢？为了让小伙伴们更加深入的学习
《你好，李焕英》知乎评论爬取并生成词云
weixin_49223051的博客
03-07 768
《你好，李焕英》最近火爆异常，作为一个爬虫萌新，也想看看网上对《你好，李焕英》的评价和情感走向。因为初入爬虫，其实对于数据分析，情感解析才刚刚接触，暂且用词云的方式呈现。希望以后能不断改进。
爬取《你好，李焕英》影评，并生成词云图
m0_49710816的博客
03-03 1851
自学了python爬虫，最近在实践，就拿《你好，李焕英》的豆瓣影评来试试手吧！ 思路： 首先是爬取豆瓣影评的短评，保存下来 豆瓣影评每页显示20条评论，我爬取了前面50页的评论，先浏览找到翻页规律，批量生成网页url链接，然后解析每个页面，用的BeautifulSoup，提取评论文字，保存为txt文件 然后将评论生成词云 代码里注释的很清晰了，就不赘述了 上代码 爬取评论的代码 #引用time库、random库、requests库、BeautifulSoup4 import time import ran
Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图
一个超会写Bug的程序猿的博客
02-23 4006
词云图： 爬取过程： 你好，李焕英 短评的URL： https://movie.douban.com/subject/34841067/comments?start=20&limit=20&status=P&sort=new_score 分析要爬取的URL; 34841067：电影ID start=20：开始页面 limit=20：每页评论条数 代码： url = 'https://movie.douban.com/subject/%s/comments?start=
我在百度大脑用数据看《你好，李焕英》
livingbody的专栏
03-11 1954
《你好，李焕英》 简介 2001年的某一天，刚刚考上大学的贾晓玲（贾玲 饰）经历了人生中的一次大起大落。一心想要成为母亲骄傲的她却因母亲突遭严重意外，而悲痛万分。在贾晓玲情绪崩溃的状态下，竟意外的回到了1981年，并与年轻的母亲李焕英（张小斐 饰）相遇，二人形影不离，宛如闺蜜。与此同时，也结识了一群天真善良的好朋友。晓玲以为来到了这片“广阔天地”，她可以凭借自己超前的思维，让母亲“大有作为”，但结果却让晓玲感到意外… 影评短片 海报 项目结构 一、爬取数据 二、数据分析 三、评论分析 一、数据爬
Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析
一个超会写Bug的程序猿的博客
02-27 1万+
爬取过程在这里： Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图 本文基于前文爬取生成的douban.txt，基于SnowNLP做情感分析。 依赖库： 豆瓣镜像比较快： pip install snownlp -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple 初识SnowNLP： SnowNLP是一个常用的Python文本分析库，是受到TextBlob启发而发明的。由于当前
Python爬虫 爬取CSDN访问量
时越的博客
09-19 426
import requests import compile from bs4 import BeautifulSoup headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36' } r=requests.get("https://blog.csdn.net/qq_2769
python用scrapy爬虫豆瓣_爬虫教程——用Scrapy爬取豆瓣TOP250
weixin_39702559的博客
01-14 332
最好的学习方式就是输入之后再输出，分享一个自己学习scrapy框架的小案例，方便快速的掌握使用scrapy的基本方法。本想从零开始写一个用Scrapy爬取教程，但是官方已经有了样例，所以还是不写了，尽量分享在网上不太容易找到的东西。自己近期在封闭培训，更文像蜗牛一样，抱歉。Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历...
scrapy框架爬虫初体验——豆瓣评分top250
愤怒的软绵绵的博客
03-03 767
目录 环境 Scrapy安装 Scrapy抓取步骤 第一步：新建项目 创建scrapy项目 设置settings.py 创建爬虫文件（douban_spider.py） 第二步：明确目标 打开网站 分析抓取内容 实现数据结构（items.py） 第三步：制作爬虫 测试 编写解析文件（douban_spider.py的parse()方法） 第四步：保存数据 存到文件 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

遥感与地理信息

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值