用Java实现网易云音乐爬虫（非selenium）

最新推荐文章于 2021-04-14 14:40:58 发布
最新推荐文章于 2021-04-14 14:40:58 发布
阅读量2.6k 收藏 7
点赞数 1
分类专栏： 爬虫 java 文章标签： 云音乐 api 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bobozhangyx/article/details/78024004
版权

代码地址：https://git.oschina.net/bobozhangyx/java-crawler/tree/master/music163

主要内容：

  • 使用httpclient（非模拟浏览器）
  • 使用网易云音乐api
  • 采集：评论和用户最近听歌的统计

思路：

  1. 用一首歌的id作为入口，得到下面的所有评论 –> 取出用户id
  2. 通过用户id取出该用户最近听的歌 –> 得到歌的id
张小虾
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java+selenium 网易云音乐刷累计听歌数的方法
08-25
主要介绍了java+selenium 网易云音乐刷累计听歌数的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
网易云音乐刷听歌量网站_【java+selenium】网易云音乐刷累计听歌数
weixin_35709751的博客
01-25 7964
背景应该是在去年的时候，刷知乎看到一个问题，大概是说怎么刷网易云音乐个人累计听歌数，然后有一个高赞回答，贴了一段js代码，直接在浏览器console执行就可以了。当时试了下，直接一下子刷了有好几万。悲剧的是，第二天又回到原来的样子了，很明显这种方式被网易云音乐发现封掉了。而且后续网易云还针对累计听歌数加了一些限制，每天最多增加300首。今天带来一种通过java+selenium的方式，自...
使用selenium抓取网易云音乐数据
手把手教你学编程
04-14 1252
今天通过一个简单的网易云音乐排行榜数据抓取与音乐下载实战案例，带着大家一起来学习如何抓取动态生成的页面内容。网易云音乐排行榜网址：https://music.163.com/#/discover/toplist，界面效果如下。 查看页面源代码，发现并没有这些歌曲信息，说明这些内容都是通过JavaScript动态生成的。使用普通的requests库无法直接获取相关内容，这里我们采用Selenium模拟人操作浏览器，从而获取动态生成的内容。（Selenium是一个用于Web应用程序测试的工具，Seleni
Java 爬虫入门(网易云音乐和知乎实例)
热门推荐
silk_bar的专栏
04-20 1万+
最近公司赶项目，过上了996的生活，周日还要陪老婆，实在没时间静下来写点东西，于是导致了swift编写2048的第三篇迟迟没有开工，在此说声抱歉，尽量抽时间在这周末补出来。 首先来介绍下爬虫的作用，爬虫主要用于大批量抓取网站中我们所需数据，其实就是模拟出http请求，之后解析分析所得的数据获取我们需要的信息的这么一个过程。 由于网上已经有很多现成的爬虫框架了，这里就不重复造轮子了，先给大家说一下原
java 爬虫 抓取 网易云音乐
烤鸭的世界我们不懂的博客
10-11 5342
大家好，我是烤鸭：      今天和大家交流一下爬虫，抓取网易云音乐。只讨论技术，不提倡其他的。 1.    找音乐源地址 谷歌浏览器 F12 ，找请求类型是 Media的。      2.     找请求链接 切换请求类型到 All，看 Response 包含 mp3 链接的。   3.     分析请求 请求头就不说了，主要是 formData 中有两个加密参数 par...
网易云音乐java爬虫_用Java实现网易云音乐爬虫
weixin_33756596的博客
02-16 4406
起因前两天在知乎上看到一个帖子《网易云音乐有哪些评论过万的歌曲？》，一时技痒，用Java实现了一个简单的爬虫，这里简单记录一下。最终的结果开放出来了，大家可以随意访问，请戳这里>>>>>> 网易云音乐爬虫结果。爬虫简介网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，一个通用的网络爬虫大致包含以下几个步骤：网络爬虫的大致流程如上图所示，无论你是做...
java爬取网易云歌单_Java爬取网易云音乐所有歌曲一：爬取所有歌手及其对应id...
weixin_40008920的博客
02-25 389
package com.ssm.jsoup.music;import com.ssm.utils.FileUtils;import org.jsoup.Connection;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Ele...
java爬取网易云歌单_GitHub - th720309/163music_spider: 网易云音乐歌单爬取
weixin_33709522的博客
02-25 670
今天花了一点时间抓取了网易云音乐的热门民谣歌单，共1500热门民谣歌单，后续有时间会爬取其他分类。下面记录一下java爬取过程。见下：爬虫过程1.首先抓取各个歌单的url与标题public static void DoPachong( String url_str, String charset) throws ClientProtocolException, IOException{HttpCl...
java爬取网易云歌单_爬取网易云音乐所有歌单
weixin_42298622的博客
02-25 451
网易云音乐歌单首页歌单第二页链接歌单第三页链接可以看出只有最后的数字在变化，所以进行url的构造，然后开始爬取import csvfrom lxml import etreeimport requestsfrom multiprocessing.dummy import Poolimport timeheaders = {'Referer':'http://music.163.com/','Hos...
详解python selenium 爬取网易云音乐歌单名
09-19
主要介绍了python selenium爬取网易云音乐歌单名，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
java调用网易云音乐接口
10-24
java调用网易云音乐接口，并解析接口数据！ 暂时只做了通过关键字搜索相关的歌曲 http请求用的是httpclient4.0以上的版本
java实现在线抓取网易云用户信息
12-26
java实现在线抓取网易云用户信息，支持在线抓取网易云用户信息，用户头像，昵称，电话等等；抓取网易云音乐热门歌手及其歌曲、专辑等信息保存到数据库；使用HttpClient和Jsoup进行模拟请求并对网页进行解析；使用mybatis作为数据访问
一个音乐网站爬虫
08-27
这是一款专门针对某个音乐网站的爬虫，可以连续下载其连载曲目，读者可下载并加入自己的需求进行改进，下载曲目默认放在该工程目录下，且分专辑保存。 目前网站前端有所改版，旧版代码所在目录src/luoo，读者可查看src/luoo2目录进行改进。
python爬虫 使用selenium 实现中英互译
03-23
1. 翻译器分为exe版和py源文件版 2.压缩包内有使用说明 3.必应翻译没有加密，适合初学selenium的人学习 4.欢迎学习交流
用selenium和BeautifulSoup爬取网易云音乐歌手id
01-20
本人正在点亮爬虫技能树，写blog以记录 selenium和bs4介绍 Selenium 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面...我们爬取页面为网易云音乐的歌
Guava Java大文件操作，快速实现，按行读取
bobozhangyx的博客
05-31 5601
使用Guava的Files工具类可以快速实现大文件的处理。按行读取demo Files.asCharSource(new File(path, "ip.txt"), Charset.defaultCharset()) .readLines(new LineProcessor<String>() { p...
FP-Growth 算法MapReduce 关联规则算法
bobozhangyx的博客
08-16 1568
FpTree.java package Test; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.Comp
Windos10安装Redis3.0 在java中通过Jedis使用Redis
bobozhangyx的博客
08-17 1557
Redis3.0.5 64位的下载地址：https://chocolatey.org/api/v2/package/redis-64/3.0.503 下载的是一个*.unpkg文件，将后缀修改为zip（或者选择打开方式）。解压后如下图 因为解压的文件太乱了，我们提取主要的文件重新建立一个文件夹 接下来在系统的环境变量（path）中添加之前新建文件夹的路
爬虫爬取网易云热评selenium
最新发布
12-26
根据您提供的引用内容，我可以为您介绍一下使用Selenium爬取网易云音乐热评的方法。 首先，您需要安装Selenium库。您可以使用以下命令来安装Selenium： ```shell pip install selenium ``` 接下来，您需要下载对应浏览器的驱动程序。Selenium需要与浏览器驱动程序进行交互，以模拟用户操作。您可以在Selenium官方网站上找到各种浏览器的驱动程序下载链接。 下面是一个使用Selenium爬取网易云音乐热评的示例代码： ```python from selenium import webdriver # 创建浏览器驱动对象 driver = webdriver.Chrome('/path/to/chromedriver') # 根据实际情况填写驱动程序的路径 # 打开网易云音乐热评页面 driver.get('https://music.163.com/#/discover/toplist?id=3778678') # 切换到iframe driver.switch_to.frame('contentFrame') # 定位热评元素 hot_comments = driver.find_elements_by_css_selector('.cmmts.j-flag li') # 打印热评内容 for comment in hot_comments: print(comment.text) # 关闭浏览器驱动 driver.quit() ``` 上述代码中，我们首先创建了一个Chrome浏览器驱动对象，并指定了驱动程序的路径。然后，我们使用`get()`方法打开了网易云音乐热评页面。接下来，我们切换到页面中的iframe，然后使用`find_elements_by_css_selector()`方法定位热评元素，并使用循环打印热评内容。最后，我们关闭了浏览器驱动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值