爬虫寻找Javascript动态数据获取(网易云案例)

最新推荐文章于 2024-07-22 10:16:01 发布
最新推荐文章于 2024-07-22 10:16:01 发布
阅读量1.2k 收藏 12
点赞数
分类专栏： 爬虫 文章标签： 爬虫寻找Javascript动态数据获取(网易云案例)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41500222/article/details/89176776
版权

首先找到目标地址

https://music.163.com/#/search/m/?s=林俊杰&type=1
在这里插入图片描述

查看网络请求

在这里插入图片描述

刷新页面

在这里插入图片描述

找到指定接口

在这里插入图片描述

点击Headers 查看请求方式

在这里插入图片描述

向下方滚动找到 加密方式 并复制选中的Key的一部分

在这里插入图片描述

点击关闭当前功能

在这里插入图片描述

鼠标触碰js 加载请求的地方 (core_aca9967….js?aca9967…:21)

在这里插入图片描述

点击第一项

在这里插入图片描述

看到此时的页面

在这里插入图片描述

最下方点击格式化当前代码 { }

在这里插入图片描述

显示这种状态 然后在代码中 按ctrl+f 搜索我们之前复制的部分 看到我们所显示的代码位置

在这里插入图片描述

然后打上断点 进入debug模式 查找我们所需要的数据

在这里插入图片描述

刷新当前页面 正式进入模式

在这里插入图片描述

会显示这种状态

在这里插入图片描述

点击蓝钮 进行下一步请求

在这里插入图片描述

当我们点击时Network 的请求也会跟着动 所以直到找到我们 刚开始获取数据的那个接口 才能停止按蓝钮(这时我们要细心不能按快找好节奏)

在这里插入图片描述

已经获取到我们想要的位置

在这里插入图片描述

点击Sources 会看到我们所需要的数据

在这里插入图片描述

当我们想退出debug模式 把断点去掉就可以啦

Meter_Bulacn
关注
专栏目录
爬虫的原理（基本流程，Request与Response，怎么解决JavaScript渲染的问题，怎么保存数据）
不思量
10-15 3370
什么是爬虫？ 爬虫就是请求网站并提取数据的自动化程序。 爬虫基本流程 1.发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等配置信息，等待服务器响应。 2.获取响应内容：如果服务器能正常响应，会得到一个Response，其中的内容便是所要获取的页面内容，类型可能有HTML,Json字符串，二进制数据（如图片视频）等类型。 3.解析内容：得到的内...
Python-Commentbox一个抓取网易云音乐精彩评论的爬虫
08-10
在这个案例中，我们关注的是一个名为"Commentbox"的项目，它是一个专门用来抓取网易云音乐精彩评论的爬虫。这个项目对于学习和理解Python爬虫技术，特别是针对特定网站的数据提取，具有很好的实践价值。 首先，我们...
scrapy定制爬虫-爬取javascript内容
weixin_44353800的博客
05-04 1504
在写代码模拟相关js逻辑时,首先试下关闭浏览器的js,看下是否能获取到需要的东西.有些页面提供了没有js的兼容.不行再开chrome的控制台或firebug观察js逻辑,可能是ajax这类收发包.用urllib2(推荐requests库)模拟即可,也可能是修改dom之类,用lxml这类对应修改即可.说来就是js执行了什么,就用python代码对应模拟执行.除此之外框架的其他部分.都是异步的,简单说来就是,爬虫生成的请求交由调度器去下载,然后爬虫继续执行.调度器完成下载后会将响应交由爬虫解析.
怎么用JavaScript写爬虫
最新发布
apiok的博客
07-22 1067
接下来，本文将为您详细讲解。通过request库的get方法请求http://www.example.com网站的HTML内容，$变量是cheerio的实例，通过此实例，使用$()进行操作DOM的方法和操作HTML的方法，以此在BODY标签中检索 H1 标签。JavaScript爬虫的原理非常简单，其主要利用浏览器提供的Window对象，通过XMLHttpRequest或者Fetch函数模拟请求网页的行为，接着用Document对象进行DOM操作，从而获取页面DOM树，进而提取网页上的有用信息。
JavaScript 爬虫
weixin_35749786的博客
01-10 979
JavaScript 爬虫是一种用于自动抓取网站信息的程序，也叫网络爬虫、蜘蛛、机器人。 它通过在 JavaScript 中实现爬虫的逻辑，然后在浏览器中运行，从而达到抓取网站信息的目的。 JavaScript 爬虫常用于自动抓取动态网站的信息，因为它能够执行网站上的 JavaScript 代码，从而模拟真实用户的行为来抓取信息。 常见的 JavaScript 爬虫框架有：Puppeteer、Zo...
js爬虫
weixin_35756892的博客
12-30 1456
JS 爬虫是指使用 JavaScript 语言编写的爬虫程序。这种爬虫可以通过在浏览器中执行 JavaScript 代码来模拟人类浏览网页的行为，从而获取网页上的数据。 JS 爬虫与传统的爬虫有一些不同之处，因为它是在浏览器中执行的，而不是直接在服务器端运行。这意味着，JS 爬虫可以更好地处理网页的动态内容，因为它可以直接执行网页上的 JavaScript 代码。 要使用 JS 爬虫爬取网页，通常...
网易云歌词提取器
07-17
总的来说，"网易云歌词提取器"是一个利用网络爬虫技术和JSON解析的工具，它使得用户可以便捷地获取网易云音乐中的带时间轴歌词，满足了音乐爱好者和相关开发者的需求。通过深入理解其工作原理和涉及的技术，我们可以...
案例说明_网易云音乐评论情感分析1
08-08
首先，案例中提到了使用Scrapy-redis分布式爬虫框架在Hadoop和Spark的基础环境下爬取网易云音乐的评论和用户数据。Scrapy-redis是一个基于Scrapy的分布式爬虫框架，它可以配合Redis进行工作，实现爬虫的分布式调度，...
python爬虫案例 js逆向案例
06-28
python爬虫练习案例，汇总一些简单的js逆向案例，看准网，网易云评论、房天下，粉笔网，企名片，天翼云，巨潮资讯，tokencap，新榜资讯，公共资源交易，欧科云链，得物等 使用方法： 克隆本项目至本地 git clone ...
python爬虫练习案例，汇总一些简单的js逆向案例，看准网，网易云评论、房天下，粉笔网，企名片，天翼云，巨潮资讯
02-28
python爬虫练习案例，汇总一些简单的js逆向案例，看准网，网易云评论、房天下，粉笔网，企名片，天翼云，巨潮资讯，tokencap，新榜资讯，公共资源交易，欧科云链，得物等.zip
JavaScript动态页面的爬取「爬虫」
Xiunneg的博客
07-22 878
Selenium是一个自动化测试工具，使用它可以驱动浏览器完成特定的操作。可以使用它来获取浏览器当前呈现页面的源代码。对于用JavaScript动态渲染的页面来说，这种爬取方式非常有效。
爬取网易云动态视频
qq_44883739的博客
07-16 470
爬取网易云动态视频使用Seleniumiframe查找src最后下载 ok \\(-o-)/ 上一次的文章已经爬去到动态视频的id和视频名称 然后准备通过https://music.163.com/#/user/home?id=“id” 取得动态视频的页面再通过post请求加相应的 params’: {…} ‘encSecKey’: {…}—对其进行请求 但是！！！！ 我请求了许多次，不管是生...
爬虫之动态HTML处理（Selenium&PhantomJS）
lixinkuan的博客
02-14 581
一、动态HTML分类 1.1、JavaScript JavaScript 是网络上最常用也是支持者最多的客户端脚本语言。它可以收集 用户的跟踪数据,不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页游戏。 我们可以在网页源代码的<scripy>标签里看到，比如： <script type="text/javascript" src="https://stat...
javascript脚本怎么爬虫
G171104的博客
06-28 1358
在使用JavaScript脚本爬虫时，需要注意遵守法律法规和网站漏洞利用的道德规范，以免对他人或自己造成不必要的损失。在进行JavaScript脚本爬虫时，可以使用Node.js来执行JavaScript脚本，并进行数据解析和处理。需要注意的是，JavaScript脚本需要考虑多种情况，如网站的异步加载、数据分页等情况。在进行网站爬取时，需要避免过于频繁的请求，以免对目标网站造成过大的负担。JavaScript脚本爬虫的原理就是利用JavaScript来执行网页数据处理和操作，从而达到爬取网页数据的目的。
爬虫进阶知识>解析网站中的JavaScript
makesomethings的博客
11-07 6257
js解析 引言 在了解如何调试js之前, 需要简单了解一下http的请求过程 1.DNS域名解析； 2.建立TCP连接； 3.发送HTTP请求； 4.服务器处理请求； 5.返回响应结果； 6.关闭TCP连接； 7.浏览器解析HTML； 8.浏览器布局渲染； 上面8个步骤被戏称为"天龙八步" 参考链接: https://zhuanlan.zhihu.com/p/32370763 简单说一下我自己...
JavaScript反爬虫技巧详细攻略
随便写写
10-13 2121
在当今的web开发中，JavaScript已经成为了一个不可或缺的部分。然而，这也引发了一个问题，那就是如何防止爬虫程序（如Google Bot或其他搜索引擎的爬虫）从网站中抓取数据。以下是一些关于如何防止JavaScript被爬虫抓取的技巧和策略，以及它们的一些工作原理。
免费代理爬虫遭遇JavaScript
CaiNiaoWuZui的专栏
10-28 1611
  爬虫过程经常会遇到JavaScript反爬虫，如果JavaScript代码可读性强，那么写出相应的python代码，效率是最高的。如果JavaScript代码可读性非常差，也可以考虑使用基于selenium的phantomjs。本文采用的是第一种。
Python 爬虫：获取 JS 动态内容—，一个回答引发热烈讨论
weixin_58134620的博客
04-03 2665
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
Python爬虫实战：利用API下载网易云音乐歌曲
本篇文章是"Python爬虫从入门到放弃09"系列的一部分，作者SunriseCai分享了如何利用Python爬虫技术从网易云音乐网站下载歌曲。文章以一个实际操作的教程形式展开，适合初学者入门。主要内容分为以下几个部分： 1. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值