关于爬取网易云全部评论的一些疑问

最新推荐文章于 2021-06-04 03:16:14 发布
最新推荐文章于 2021-06-04 03:16:14 发布
阅读量529 收藏 2
点赞数 3
分类专栏： # Python爬虫 文章标签： python bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46278037/article/details/114127184
版权

这是邓丽君的南海姑娘，102页，2035条评论，查了第一页，最后一页，搜了下50页以及53页的评论，都在，应该是全部爬取了。
在这里插入图片描述
在这里插入图片描述
这是柏松的世间美好与你环环相扣，2万+页，42万+条评论，每次需要爬了好几个小时。其中白天爬了3次，均成功，夜间爬了3次，均远程中断。
在这里插入图片描述
在这里插入图片描述
看这页数，明显没有爬完
在这里插入图片描述
果然，中间断了1年半的评论没有爬取。。
在这里插入图片描述
在这里插入图片描述

原因应该是在第一个参数上，offset的问题。现在没空研究了，记录下来，以后有需求的再解决。

数据在：

手把手教你用Python爬取网易云40万+评论

在这里插入图片描述

BugMiaowu2021
关注
专栏目录
[Python知识图谱] 三.Jieba工具中文分词、添加自定义词典及词性标注详解
杨秀璋的专栏
07-28 2万+
本系列文章主要结合Python语言实现知识图谱构建相关工程，具有一定创新性和实用性，非常希望各位博友交流讨论，相互促进成长。前面两篇文章详细讲解了哈工大Pyltp工具，包括中文分词、词性标注、实体识别、依存句法分析和语义角色标注等。但是其中文分词效果不是很理想，如“贵州财经大学”总是切分成“贵州”、“财经”和“大学”，这是因为词典中这些词的权重较高。这篇文章主要介绍最经典的自然语言处理工具之一——Jieba，包括中文分词、添加自定义词典及词性标注等内容。
爬取网易云！
只是筏
08-12 553
selenium爬取网易云评论一起来爬取吧！一、安装selenium二、安装Google浏览器并配置ChromeDriver三、爬取网易云 一起来爬取吧！ 一、安装selenium 可以直接在pycharm里安装需要的库selenium file-settings如下操作： ![在这里插入图片描述](https://img-blog.csdnimg.cn/936e7434069444349e0b04f99a053e98.png?x-oss-process=image/watermark,type_ZmFuZ
Python采集网易云音乐
Python_sn的博客
10-28 1843
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
爬取网易云评论
qq_41562704的博客
04-17 1082
任务爬取网易云黄老板的shape of you下面赞超过1000的评论
python学习之爬虫(一) ——————爬取网易云歌词
Jason_Chan0803的博客
04-25 733
接触python也有一段时间了，一提到python，可能大部分pythoner都会想到爬虫，没错，今天我们的话题就是爬虫！作为一个小学生，关于爬虫其实本人也只是略懂，怀着”Done is better than perfect”的态度硬着头皮开始了这篇文章的撰写！好了，废话不多说！ 　　先说一下今天我们的目的，作为一个音痴但不影响我对于音乐的执着，所以今天我们爬取的是网易云音...
爬取网易云音乐
Migrant workers
01-14 309
代码如下 import requests from lxml import etree import os url = 'https://music.163.com/discover/toplist?id=3779629' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Co
详解python selenium 爬取网易云音乐歌单名
09-19
### Python Selenium爬取网易云音乐歌单名详解 #### 一、引言 在Web自动化测试领域，Selenium 是一个非常强大的工具，它不仅能够帮助我们进行自动化测试，还可以用于网页爬虫。本文将详细介绍如何使用 Python 和 ...
python爬取网易云音乐飙升榜音乐_Python爬虫实战，30行代码轻松爬取网易云音乐热歌榜...
weixin_39812465的博客
12-05 1461
在开始讲解思路之前，我们首先了解下网络状态码，为什么要看这个呢？以后你会回来感谢我的，嘻嘻！一般网络状态有以下几种:200(成功)服务器成功处理了请求。一般来说，这意味着服务器提供所请求的页面，如果您看到此状态，您的robots.txt文件，这意味着Googlebot的检索成功。301(永久移动)请求的网页已永久移动到新的位置，当服务器返回此响应(作为一个GET或HEAD请求的响应)，它会自动转发...
html5网易云歌词滚动,30行代码爬取网易云歌词(示例代码)
weixin_28958535的博客
06-04 965
需求分析: 利用爬虫获取网易云音乐歌曲的歌词，效果如下：分析:通过官方的歌词API获取歌词，例如:访问https://music.163.com/#/song?id=1417093533 则会跳转到关于这首歌的详情页，界面如下这里需要调用一个获取歌词的接口如：获取上面Godzilla歌曲的歌词，它歌曲的ID是：1417093533我们仔细看下这个网站的结构，其实它是JSON格式的数据(可以理解为P...
爬取网易云音乐评论
08-27
爬取网易云音乐评论
用python爬取网易云音乐评论
qq_23175673的博客
05-14 1753
用python爬取网易云音乐一首歌的评论代码 代码 import time from selenium import webdriver class YunSpider (object): def __init__(self,url): self.url = url self.driver = webdriver.Chrome() def getConnect(self): #打开网址 self.driver.get(se
Python爬虫爬取网易云的音乐
热门推荐
function66的博客
07-15 2万+
Python爬取wangyiyun的音乐(学习笔记) 在开始之前，做一点小小的说明哈： 我只是一个python爬虫爱好者，如果本文有侵权，请联系我删除！ 本文需要有简单的python基础，主要用到两个爬虫模块（都是常规的） requests模块 selenium模块 建议使用谷歌浏览器，方便进行抓包和数据获取。 昨晚我女朋友（@羊羊羊????）很辛苦的写了一篇CSDN博客，看起来非常炫酷，所以我也想写一篇，然后让她给我点个赞；思来想去我就写一篇关于爬虫的吧，希望对您有所帮助！ Part1
python爬取网易云课程_Python爬取网易云课堂课程数据
weixin_39912163的博客
12-02 424
我简单的看了一下，页面数据是基于https://study.163.com/p/search/studycourse.json这个地址进行异步加载的。你自己尝试的时候需要借助开发者工具进行多次尝试，抓取到这个地址的数据为准。还有一个地方需要注意，这次是post提交方式，并且提交数据是payload类型的，这个原因导致我们的代码和以前的略微有一些不同的地方。提取post关键字，看一下各个参数的意思...
Python爬取网易云音乐歌手歌曲和歌单（爬虫）
weixin_45948326的博客
08-23 3736
Python爬取网易云音乐歌手歌曲和歌单 仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单，并下载到本地 ①找到要下载歌手歌曲的链接，这里用的是： https://music.163.com/#/artist?id=10559 然后更改你要保存的目录，目录要先建立好文件夹，例如我的是保存在D盘-360下载-网易云热歌榜文件夹内，就可以完成下载。如果文件夹没有提前建好，会报错[Errno 2] No such file or directory。 ②找到要下载歌单的链接，这里用的是： http
爬取网易云音乐的歌曲
WSZFSNFK的博客
07-08 498
123
selenium爬取网易云音乐评论
最新发布
04-26
好的，我可以为您提供一些关于使用selenium爬取网易云音乐评论的方法。 首先，您需要安装selenium和chromedriver。然后，您可以使用以下代码段来爬取网易云音乐的评论： ```python from selenium import webdriver...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BugMiaowu2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值