python爬虫酷狗音乐加密参数逆向

已于 2023-08-11 15:19:09 修改
阅读量2.5k 收藏 27
点赞数 6
文章标签： python 爬虫
于 2023-08-08 11:54:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58978145/article/details/132150607
版权

在此记录一下自己的爬虫练习之路

我猜来看我这篇文章的基本都是小白或者是有一点基础想要进一步提高自己实力的'爬虫'们

让我们一起共同进步吧!

我会尽量将每一步都讲出来,尽量让大家看得明白,现在开始吧

网址:某狗音乐

分析过程

  1. 首先打开酷狗音乐网页,然后按F12打开开发者工具,再在搜索框输入任意歌名,
    之后按下回车进行搜索
  2. 进入搜索后网页会持续加载,右边开发者工具不断会有内容出现,当网页加载完成后在下面列表里一个个的点开看,这个过程会很枯燥,加油.在看了一段时间后会找到左边红框的接口,预览里就是网页显示的搜索结果
  3. 复制cURL,
    爬虫工具库-spidertools.cn
    去这个网页中转换为python代码去pycharm中看看能不能请求到结果,因为复制cURL的操作无法截图,直接看图吧将复制的cURL粘贴到左边方框,然后全选右边的代码进行复制
  4. 成功请求,说明接口与请求参数都是有效的
  5. 删除框中的代码,验证接口是否验证cookie
    验证说明不需要cookie也可以请求,nice!因为我不会逆向cookie生成过程,省事了~
  6.  转回开发者工具,多次请求验证除了框选的参数其他全是固定的,时间戳和搜索参数好解决,剩下加密参数的加密方法现在开始一步步调试出来​​​​​​​
  7. 按shift+ctrl+f打开全局搜索,先搜索mid,会看到多个选项,不知道选哪个的话就每一个都点进去看看,看看代码是否包含mid以及赋值,实在不行就每一个点进去然后点击代码旁边最外面的边框打上断点,然后去搜索框搜不同的内容,按下回车会发现代码停在了断点的位置(俺也打了好几个断点才找到真正的位置)
最低0.47元/天 解锁文章
python爬虫--酷狗音乐榜单TOP500
2301_79859344的博客
11-14 1220
我们需要top500首歌，找到网页，查看地址，每页22首，需要23个页面，我们就确定网页号，由正则表达式知道{}表示字符个数确定{}范围为1-24。urllib lxml requests bs4（可能会缺少模块就使用下面这个命令，快速下载，还有很多镜像源，和直接下载的方法，可以自己百度找找）[a-z]{3}[1-9]{6}:前三个为字符：a-z，四到十位为数字1-9 密码。\d{3}-d{8}:3个数字-8个数字 电话号码。range(1,5)得到{1，2，3，4}在Chorme网页，输入。
python爬取酷狗音乐_python 爬虫 爬取酷狗音乐
weixin_39616547的博客
11-20 2432
终于到了周末！怎么能少得了我的每周一更的文章呢？介绍你是不是常常想要在各大音乐网站上下载音乐？但是网站却逼迫你下载他们的应用？不要怪他们，这只是他们的赚钱的方式（你不下载他们应用，他们怎么赚钱呢）然而，你下载了应用，它们却逼迫你购买vip……没关系，今天我们就来用爬虫手段“制裁”这些网站！首先，就由最简单的酷狗音乐开始爬！功能概述让用户输入要搜索的音乐名，然后把所有的音乐以及每一个音乐对应的信息展...
【python爬虫】酷狗音乐爬取练习
cliff，的博客
03-08 6697
本次爬取的音乐仅有1分钟试听，完整音乐需要下载客户端。
【python爬虫】分析网易云 爬取歌单 下载音乐
weixin_72523163的博客
04-22 1651
在 Python 文件中，主要使用以下几个库：httpx：用于发起网络请求，实现与网易云音乐服务器的数据交互。execjs：调用外部 JavaScript 文件（如demo.js），借助 JavaScript 的功能处理数据，例如加密参数的生成。os：用于文件和目录操作，如创建存储下载歌曲的文件夹。re：通过正则表达式匹配并删除音乐歌名中不符合标准的符号，确保文件名的合法性。发送请求，获取包含音乐列表信息的 JSON 数据。解析 JSON 数据，从中提取歌曲的 ID（song_id。
python实现搜索爬取酷狗音乐（歌曲、歌词、图片）
ouqisheng的博客
01-17 7179
（一）、数据来源分析1、明确需求2、抓包分析（使用开发者工具）（1）、找到音频播放链接（2）、找到并分析音频链接信息数据包（二）、代码实现步骤1、发送请求2、获取数据3、解析数据4、保存数据。
一篇文章教会你使用Python网络爬虫下载酷狗音乐
pdcfighting的博客
10-09 988
【一、项目背景】 现在的听歌软件动不动就是各种付费，要下载软件才能听，当你下载了之后，你会惊奇的发现这首歌还收费，这就让一向喜欢白嫖的小编感到很伤心了。于是，小编冥思苦想，终于让我发现了其中的奥秘，一起来看看吧。 【二、项目准备】 1、编辑器：Sublime Text 3 2、软件：360浏览器 【三、项目目标】 下载我们喜欢的音乐。 【四、项目实现】 1、打开酷狗音乐官网 360浏览器打开酷狗音乐官网： 可以看到十分清爽的画风，这也是我比较喜欢的地方。 2、审查元素，分析请求 打开Network ，分
极其简单的Python爬虫音乐
热门推荐
qq_43916860的博客
04-15 1万+
文章目录前言一、操作流程 前言 通过修改代码中的地址即可下载某首音乐，非常简单。 一、操作流程 1.首先电脑必须有python编译环境，我用的是pycharm平台，在命令终端安装requests第三方库 命令 pip install requests 2、运行程序 import requests url = "https://dl.stream.qqmusic.qq.com/RS02060TeI7e0IcgQH.mp3?guid=8277173518&vkey=6B5BE298C70CE41
【Python 爬虫脚本】Python爬取歌曲
qq_42912975的博客
08-28 4081
目标：爬取酷狗音乐。
Python逆向爬虫入门: 音乐加密参数 sign 逆向解析
weixin_45866698的博客
08-19 875
入门级逆向爬虫教程
python爬虫小项目与web逆向
02-29
Python爬虫小项目与Web逆向是IT领域中两个紧密相关的知识点，主要涉及网络数据抓取和网站结构分析。在互联网大数据时代，爬虫技术被广泛应用于数据分析、市场研究、内容聚合等领域，而Web逆向则常用于理解复杂的网页...
Python-Python3爬虫实战JS加解密逆向教程
08-10
本教程"Python-Python3爬虫实战JS加解密逆向教程"聚焦于如何处理JavaScript加密和混淆的数据，以便在爬虫过程中获取有效信息。这通常涉及到对前端JavaScript代码的理解、逆向工程以及加解密算法的应用。下面，我们将...
python爬虫爬取音乐-JS逆向爬虫
Andy的博客
12-21 2517
可以看到接口返回的歌曲相关数据在typeTrack这个字段里面，刚好20条数据，结合传的参数和响应结果证明该接口就是搜索接口那么现在外面在来看参数，有过前后端开发经验的朋友们都知道，接口当中有些参数很重要，缺少其中一个参数都会请求失败，那么接回刚刚说的参数问题；看上面的参数截图可以发现这个接口中总共6个参数，好像都是缺一不可那种，尤其是sign这个参数，有过前后端开发经验的都知道这是验签（签名验证），如果没有这个参数，那么请求必定会失败，因为这是验证这个请求是否合法的参数；但是总归有方法的，那就是。
python爬虫爬取歌曲_如何利用python爬虫爬取音乐
weixin_39801158的博客
11-25 394
import requestsimport pprintimport osimport pprintdef down(url,name):r=requests.get(url)with open(f’e:\music\{name}.mp3’,‘wb’) as f:f.write(r.content)f.close()print(‘ok’)data={“songIds”:"" ,“hq”: ,“ty...
python爬取音乐
一只程序猿子的博客
09-21 2991
本文将介绍使用Python爬虫根据歌手名称或歌曲名称进行音乐的爬取,音乐数据保存到本地!
python爬虫项目实战： 爬取酷狗音乐详细操作
qq_43031450的博客
03-29 9955
本次爬取结束，如果有什么其他问题或不懂可以私信哦~另外还有GUI渲染过的的exe便携版，想要了解的话可以看下一篇文章。
酷狗音乐的爬虫练习
lsf_longqi的博客
03-20 902
酷狗音乐爬虫方法
Python爬虫—手把手教你用Python爬取音乐，小白也能操作（源码可分享）
2301_78096295的博客
08-30 3381
本文需要有简单的python爬虫基础，主要用到两个爬虫模块（都是常规的） requests模块、 selenium模块
python爬虫爬取音乐
qq_45911550的博客
07-14 883
话不多说，直接上代码，代码里写了注释，有兴趣讨论一下的，欢迎评论。 import time from urllib.request import urlopen,Request #引入回车键的包,这些都是基本配置 from selenium.webdriver.common.keys import Keys from selenium import webdriver from selenium.webdriver.chrome.options import Options headers = {
Python爬虫实战 -- 音乐爬取全部歌曲
白帽阿叁的博客
11-28 7000
还是习惯的点开检查按键，找到首字母的作者提供的XML都需要什么参数，随便点点A-Z发现 XML 有一个请求蹦出来，里面返回了是个 json 数据集，都点开看看发现找到了每个作者的参数了。既然拿到了XML的网站，POST请求是一定的啦，接下来就该分析分析网站所需要的参数都是什么了，大致猜测一下，这么多数据中sign和data参数有点诡异，不像是正常的参数，加密参数也找到了。这个应该是sign的加密算法，但是其中传了一个参数进入，我们需要了解一下他传了什么参数，这样我们的sign就出来了。
python爬虫 请求参数加密
最新发布
05-08
<think>好的，我现在需要解决用户的问题：如何在Python爬虫中对请求参数进行加密。用户提到了之前的回答和相关引用，我需要结合这些信息来给出详细的步骤和方法。 首先，回顾用户之前的对话，用户已经了解了如何添加GET和POST请求的参数，现在关注的是参数加密。根据提供的引用内容，加密通常涉及到逆向分析JavaScript代码，然后用Python模拟加密逻辑。引用1提到使用hashlib来模拟MD5加密，引用2和3讨论了逆向JS和用Python重写加密函数，引用4提到了时间戳、参数排序和Base64加密的例子。 用户的需求可能包括常见的加密方法，如哈希、Base64、AES等，以及如何处理动态参数如时间戳和随机数。此外，用户可能还想了解如何逆向JS找到加密逻辑，这是实际爬虫中常遇到的难点。 接下来，我需要组织回答的结构。首先概述加密的必要性，然后分步骤介绍常见加密方法，包括哈希、Base64、对称加密（如AES）、非对称加密（如RSA）。然后详细说明如何逆向分析JavaScript，包括使用浏览器开发者工具定位加密函数，调试并理解逻辑，最后用Python实现。可能需要结合引用中的例子，如MD5模拟、Base64处理，以及动态参数生成。 还要注意用户可能遇到的困难，比如复杂的JS混淆，这时可能需要工具如PyExecJS来执行JS代码，或者使用自动化工具如Selenium。同时，提醒用户注意法律和道德规范，避免侵犯隐私或触犯法律。 最后，生成相关问题，帮助用户进一步学习，比如处理JS混淆、解决动态密钥、提升逆向效率等。 需要确保回答清晰，步骤明确，代码示例正确，并正确引用之前的资料，比如引用1的MD5示例，引用4的Base64和时间戳处理。同时，保持语言口语化，避免使用专业术语过多，但必要时解释清楚。</think>在Python爬虫中处理请求参数加密，需要通过逆向分析目标网站的加密逻辑，并采用Python代码模拟实现。以下是具体实现方法和步骤： --- ### 一、常见加密类型及Python实现 #### 1. 哈希算法（如MD5/SHA） 用于参数签名验证，通过不可逆加密生成唯一标识 ```python import hashlib def md5_encrypt(text): md5 = hashlib.md5() md5.update(text.encode('utf-8')) return md5.hexdigest() # 示例：加密时间戳 timestamp = str(int(time.time()*1000)) sign = md5_encrypt(f"key={timestamp}&salt=abc123") ``` [^1] #### 2. Base64编码 常用于简单数据混淆处理 ```python import base64 # 参数编码 param = "page=2&size=20".encode('utf-8') encoded = base64.b64encode(param).decode() # 解码验证 decoded = base64.b64decode(encoded).decode() ``` [^4] #### 3. 对称加密（AES/DES） 需要获取密钥进行加解密 ```python from Crypto.Cipher import AES import binascii def aes_encrypt(data, key, iv): cipher = AES.new(key.encode(), AES.MODE_CBC, iv.encode()) padded = data + (16 - len(data) % 16) * chr(16 - len(data) % 16) encrypted = cipher.encrypt(padded.encode()) return binascii.b2a_hex(encrypted).decode() # 示例使用 encrypted = aes_encrypt('page=1', '1234567890123456', '1234567890123456') ``` #### 4. 非对称加密（RSA） 处理需要公钥加密的场景 ```python from Crypto.PublicKey import RSA from Crypto.Cipher import PKCS1_v1_5 def rsa_encrypt(data, public_key): rsa_key = RSA.importKey(public_key) cipher = PKCS1_v1_5.new(rsa_key) return base64.b64encode(cipher.encrypt(data.encode())).decode() ``` --- ### 二、逆向分析JS加密流程 #### 步骤1：定位加密入口 1. 使用Chrome开发者工具（F12） 2. 在Network面板捕获加密请求 3. 通过XHR断点或搜索加密参数定位JS文件 #### 步骤2：调试加密逻辑 ```javascript // 典型加密函数结构 function encryptParams(params) { let timestamp = Date.now(); let sorted = Object.keys(params).sort().map(k => `${k}=${params[k]}`).join('&'); return md5(sorted + salt_key); } ``` #### 步骤3：Python复现逻辑 ```python import time def generate_params(page): params = { "page": page, "ts": int(time.time()*1000), "nonce": random.randint(1000,9999) } sorted_str = '&'.join([f"{k}={v}" for k,v in sorted(params.items())]) params['sign'] = hashlib.sha256(f"{sorted_str}appSecret").hexdigest() return params ``` [^4] --- ### 三、实战案例解析 以某电商网站搜索接口为例： 1. 原始请求参数： ```python {"keyword": "手机", "page": 1} ``` 2. 加密后参数： ```python { "payload": "eyJraWQiOiIxMjM0NSIsImVuY3J5cHRlZERhdGEiOiJNek...", "x-sign": "a1b2c3d4e5f6" } ``` 3. Python复现流程： ```python def encrypt_payload(params): # 步骤1：添加时间戳 params['timestamp'] = int(time.time()*1000) # 步骤2：参数排序并序列化 sorted_params = json.dumps(params, sort_keys=True) # 步骤3：AES加密 encrypted = aes_encrypt(sorted_params, AES_KEY, AES_IV) # 步骤4：生成签名 sign = md5_encrypt(encrypted + SIGN_SALT) return {"payload": encrypted, "x-sign": sign} ``` --- ### 四、特殊场景处理 1. **动态密钥**：通过首次请求获取加密密钥 2. **环境检测**：使用`execjs`库直接执行JS代码 ```python import execjs with open('encrypt.js') as f: js_code = f.read() ctx = execjs.compile(js_code) encrypted = ctx.call('encrypt', 'raw_data') ``` 3. **反调试绕过**：使用无头浏览器获取加密结果 ```python from selenium.webdriver import ChromeOptions options = ChromeOptions() options.add_argument('--headless') driver = webdriver.Chrome(options=options) driver.get(url) encrypted = driver.execute_script('return window.encrypt(param);') ``` --- ### 五、注意事项 1. 优先使用网站的公开API接口 2. 遵守robots.txt协议 3. 控制请求频率避免被封禁 4. 加密逻辑变更时需要及时更新代码
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值