爬取酷狗音乐时的坑

最新推荐文章于 2024-08-08 07:19:01 发布
最新推荐文章于 2024-08-08 07:19:01 发布
阅读量4.6k 收藏 5
点赞数 3
分类专栏： java爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40663357/article/details/101231359
版权
本文讲述了作者使用Java进行酷狗音乐爬取时遇到的两个问题：1.请求返回{“status”:0,“err_code”:20010,“data”:[]}，解决办法是在请求头添加kg_mid的cookie；2.遇到“status”:0,“err_code”:30020错误，原因是网络问题，断开重连即可。" 79682745,5639679,找出正整数的所有质数因子,"['数学算法', '素数', '编程问题']
摘要由CSDN通过智能技术生成

今天在用java爬取酷狗音乐时碰到了两个坑，浪费了我不少时间，呜呜呜。
通过拼接hash值获取歌曲真实接口地址后，遇到了以下两个错误，开始还以为是https的问题，搞了半天并不是

1、{“status”:0,“err_code”:20010,“data”:[]}

在浏览器直接访问可以获取到所有数据，但是通过java的httpclient获取到的只是这个玩意儿。。
最后在请求头中携带cookie值为：kg_mid=2333，这里的kg_mid可以是任何值，非空就行。
部分代码如下：

URL url1 = new URL(url);
HttpsURLConnection httpUrlConn = (HttpsURLConnection) url1.openConnection(
最低0.47元/天 解锁文章
monkey-jie
关注
专栏目录
爬取酷狗音乐全分析
沐阳清心
02-06 2899
代码实现从搜索到爬取酷狗音乐，付费音乐暂时只能爬取试听部分。 一、分析问题 1. 音频url ​ 点入某个音乐的播放界面，通过F12-Network，分析数据，可以看到有一个index.php?..返回数据中有一个play_url，打开后正是我们需要的音频。 ​ 查看该url的headers，其params参数如下，通过反复不同的几次尝试，得知r、callback、dfid、mid、platid这几项不变，而通过初步的requests尝试，发现最后一项’_'可有可无，改变的只有hash和album_i
酷狗歌曲资源最新版权保护和反爬机制
m0_55527741的博客
09-24 1196
本文写于2021年9月24日,目标状态也是这时期的状态,排除未来目标状态会发生变化. 酷狗歌曲资源最新版权保护和反爬机制一.获取酷狗资源----后端机制一.获取酷狗资源----前端机制三.酷狗版权保护的升级和免费爬VIP资源不再可能总结 本文中提到地"资源查询请求"是播放歌曲的一个步骤,而不是通常所说的"搜索",请注意区分. 一.获取酷狗资源----后端机制 先说后端,后端是关键. 1,资源采用云存储(两套云存储服务商,一用一备)和云处理,特点是存储速度快,瞬时数据处理能力超强,原始资源和临时共享资源安全可
探索音乐新境界：KuGouMusic API
最新发布
gitblog_00755的博客
08-08 826
探索音乐新境界：KuGouMusic API KuGouMusicApi酷狗音乐 Node.js API service项目地址:https://gitcode.com/gh_mirrors/ku/KuGouMusicApi 在数字化的世界里，音乐已经成为我们生活的一部分。而酷狗音乐作为国内知名音乐平台，以其丰富的音乐资源和便捷的用户体验赢得了广大用户的喜爱。今天，我要向大家推荐一个能够进一步提...
使用酷狗api时遇到的坑
weixin_46218028的博客
11-26 708
酷狗我爱你
Python发送Post请求及解析响应结果
weixin_44691253的博客
03-05 1万+
Python发送Post请求及解析响应结果
解决：ajax请求错误ajax error:{“readyState“:0,“status“:0,“statusText“:“er...
牛肉胡辣汤
11-03 3517
当出现ajax error的错误提示时，通过以上的示例代码，我们能够更精确地定位错误所在，并给出相应的解决方案。然而，在实际开发过程中，有时我们可能会遇到ajax请求出现错误的情况，其中一个常见的错误就是出现"ajax error:{"readyState":0,"status":0,"statusText":"error"}"的提示。当遇到 "ajax error:{"readyState":0,"status":0,"statusText":"error"}" 错误时，我们可以尝试以下解决方法。
QT 平台音乐在线播放器制作 播放功能齐全
08-17
QT平台WAV格式音乐播放器，可支持在线（服务器端、客户端）、本地播放，暂停、继续、停止、播放时间显示等功能齐全
python爬取酷狗音乐的mv地址_爬取酷狗音乐.py
weixin_42521856的博客
01-13 618
import requestsfrom selenium import webdriverfrom pyquery import PyQuery as pq#获取歌名def Access_to_the_song(C):doc=pq(C)The_song=doc('.audioName').text()return The_song#进入听歌的界面爬取HTMLdef Browser_access(U...
python爬取酷狗音乐top500_爬取酷狗音乐Top500
weixin_39914938的博客
12-17 933
开发环境：windows环境+python3+requests库(请求)+BeautifulSoup库(解析)目标:爬取酷狗音乐Top500并保存到txt中整个案例源代码：#导入程序需要的库，requests库用于请求获取网页，BeautifulSoup库用于解析网页数据，time库、random库用于随机延时import requestsfrom bs4 import BeautifulSoup...
python爬取酷狗音乐源码_python爬虫教程：爬取酷狗音乐
weixin_39755712的博客
12-11 1588
在常见的几个音乐网站里，酷狗可以说是最好爬取的啦，什么弯都没有，也没加密啥的，所以最适合小白入门爬虫本篇针对爬虫零基础的小白，所以每一步骤我都截图并详细解释了，其实我自己看着都啰嗦，归根到底就是两个步骤的请求，还请大佬绕路勿喷。1、打开酷狗官网,可以看到搜索框，我们要爬取的数据就是搜索歌曲后，酷狗后台返回的歌曲列表以及每首歌的歌曲信息(歌词、作者、url等)2、敲F12键进入开发者模式，选择Net...
scrapy 爬取酷狗T500音乐
04-25
在本项目中，我们利用Scrapy来爬取酷狗T500音乐平台上的音乐信息，这包括但不限于歌曲名称、歌手、专辑、歌词以及链接等。这些数据对于音乐爱好者或者数据分析者来说具有很高的价值。 首先，我们需要创建一个Scrapy...
Qt5 QMediaPlayer音乐播放器
03-17
Qt5 QMediaPlayer音乐播放器 实现功能包括基本的歌曲播放暂停，上一首，下一首，添加歌曲，添加为我喜欢，添加至我的收藏，最近播放，列表的右键菜单，主窗口的右键菜单，删除歌曲，多选，查看歌曲信息，改变播放模式(顺序播放，随机播放，单曲循环)，歌曲定位，清除列表，换皮肤，切换至小播放器模式，查找本地音乐，设置透明度，任务栏下的菜单，调节音量，快捷键，并添加了一些动画等等
Apicloud ajax请求返回"statusCode":0，网络连接错误code:0， msg:服务器返回数据格式错误，code:3
YICONGITSME的博客
05-24 1万+
最近在做一个apicloud的app项目，在写前端请求的时候遇到的错误。 一、{"statusCode":0,"state":2,"progress":100,"body":"连接错误，请检查网络或者请求配置是否正确","msg":"连接错误，请检查网络或者请求配置是否正确","status":2} 代码如下 ： var code = $api.byId('code').innerH...
基于mongoose的httpclient配置SSL与cookie
fengruoying93的专栏
06-20 2207
一、mongoose简介 mongoose是一个轻量的开源http服务器项目：https://github.com/cesanta/mongoose 只需要使用mongoose.c和mongoose.h两个文件就可以搭建httpserver或httpclient 二、SSL配置 若要支持https，则需要配置SSL，这里使用OpenSSL开源库。 1、openssl源码地址为：https://www.openssl.org/source/old/，这里选择版本为openssl-1.0.1u.ta.
解决msg:token无效
qq_41792374的博客
06-25 1万+
msg:‘无效token’，status:400 原因：用第三方组件element-ui或者其他组件的单个功能上传图片，没有用到axios发请求，而是组件内部自己封装了一个ajax去发请求，组件内部封装的ajax不携带Authorization字段. 解决方案：1.首先在上传组件中手动添加 :headers:"headerObj" 2.再设置上传组件的请求头，添加Authorization字段： 就解决了。 ...
【python实现网络爬虫（14）】python爬取酷狗中多类型音乐步骤详解（附全部源代码）
热门推荐
lys_828的博客
03-17 2万+
目标网址：酷狗音乐-赤伶，页面如下 爬虫逻辑： 【找到要获取特定音乐的url】>>>【找到该资源链接的url】>>>【封装获取音乐的函数】>>>【封装下载音乐的函数】 注意： 这两个获取url的顺序是和之前获取url的过程是反过来的，以往是获取外部页面的url后进入内部页面的url，然后再获取该页面的信息。 但是下载音乐（定向爬取数据），首先...
python+算法+数据结构+面试题
a1032818891的博客
06-13 1万+
一、单链表反转 #!/usr/bin/python #递归实现单链表反转 class ListNode(object): def __init__(self,x): self.val=x self.next=None def recurse(head,newhead): #递归，head为原链表的头结点，newhead为反转后链表的头结点 if head is ...
python爬取酷狗音乐
05-19
要爬取酷狗音乐，你需要了解以下几个步骤： 1. 分析网页结构，找到需要爬取的信息的位置和对应的 HTML 标签； 2. 使用 Python 的 requests 库发送 HTTP 请求，并获取响应内容； 3. 使用 BeautifulSoup 库解析 HTML 标签，提取需要的信息； 4. 使用正则表达式或其他方法清洗数据； 5. 保存数据到本地或数据库。 以下是一个简单的示例代码，用于爬取酷狗音乐排行榜前 50 名的歌曲名称和歌手名称，并将结果打印出来： ```python import requests from bs4 import BeautifulSoup url = 'http://www.kugou.com/yy/rank/home/1-8888.html?from=rank' response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') song_list = soup.find_all('a', class_='pc_temp_songname') for i in range(50): song_name = song_list[i].text artist_name = song_list[i]['title'].split('-')[-1] print(f'{i+1}. {song_name} - {artist_name}') ``` 注意，这只是一个示例代码，实际爬取数据可能需要更复杂的处理。此外，需要注意网站的反爬机制，不要频繁发送请求以避免被封禁。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值