以QQ音乐为例子 解析公共接口的json数据

最新推荐文章于 2024-09-02 09:04:34 发布
最新推荐文章于 2024-09-02 09:04:34 发布
阅读量4.7k 收藏 6
点赞数 1
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hello_Ray/article/details/81557921
版权

根据获得歌手的json数据的url

https://u.y.qq.com/cgi-bin/musicu.fcg?format=jsonp&inCharset=utf8&outCharset=utf-8&data=%7B%22comm%22%3A%7B%22ct%22%3A24%2C%22cv%22%3A10000%7D%2C%22singerList%22%3A%7B%22module%22%3A%22Music.SingerListServer%22%2C%22method%22%3A%22get_singer_list%22%2C%22param%22%3A%7B%22area%22%3A-100%2C%22sex%22%3A-100%2C%22genre%22%3A-100%2C%22index%22%3A1%2C%22sin%22%3A0%2C%22cur_page%22%3A1%7D%7D%7D
 

json数据部分截图

根据上面链接里获得数据，取出歌手mid，然后再根据下面的url获得歌曲列表

https://c.y.qq.com/v8/fcg-bin/fcg_v8_singer_track_cp.fcg?inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq&needNewCode=0&singermid=002J4UUk29y8BY&order=listen&begin=0&num=30

json数据部分截图

 

下面是调用的详细代码，其中的HTTPUtil.sendGet方法是发送http请求的代码。在我这个博客

https://blog.csdn.net/Hello_Ray/article/details/80762232 里的代码11行代码和42-48行有http发送请求的代码，可以参考那个。

在测试这个方法，dao方法可以注释掉, HotSongSpider是引入别的类中转换list的方法，可以注释掉。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.jsoup.Jsoup;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.net.URLEncoder;
import java.nio.charset.StandardCharsets;
import java.util.*;

/**
 * <p>description: </p>
 *
 * @author chenrui
 * @since 2018-08-09
 */
@Component
public class SpiderSingerNew {

    private static Logger log = LogManager.getLogger(SpiderSingerNew.class);

    @Resource
    private HotSongSpider hotSongSpider;
    @Resource
    private HotSongDao hotSongDao;

    private Integer singerListTotalPage = 1;  //所有页数

    private Integer singerSongListTotalPage = 1;

    //成功的歌手列表
    List<QQ2Singer> singerList = new ArrayList<>();
    //爬取歌手列表出现的错误标签和页面
    public static Queue<Map<String, Integer>> errorSingerList = new LinkedList<>();
    public static Queue<Map<String, String>> errorSingerSongList = new LinkedList<>();

    //爬取所有歌手的url
    String singerListUrl = "https://u.y.qq.com/cgi-bin/musicu.fcg?format=jsonp&inCharset=utf8&outCharset=utf-8&data=";
    String param = "{\"comm\":{\"ct\":24,\"cv\":10000},\"singerList\":{\"module\":\"Music.SingerListServer\",\"method\":\"get_singer_list\",\"param\":{\"area\":-100,\"sex\":-100,\"genre\":-100,\"index\":{index},\"sin\":{sin},\"cur_page\":{cur_page}}}}";
    //歌手下的全部歌曲
    String singerSongListUrl = "https://c.y.qq.com/v8/fcg-bin/fcg_v8_singer_track_cp.fcg?inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq&needNewCode=0&singermid={singermid}&order=listen&begin={begin}&num={num}";

    public void spiderSingerList() {
        log.info("--start spider singer list--");
        int index = 1;
        //singer的list
        List<QQ2Singer> qq2SingerList = new ArrayList<>();
        try {
            for(; index<=27; index++) {
                for(int i=0; i < singerListTotalPage; i++) {
                    String sendParam = param.replace("{index}", String.valueOf(index)).replace("{sin}", String.valueOf(i*80)).replace("{cur_page}", String.valueOf(i+1));
                    String sendUrl = singerListUrl + URLEncoder.encode(sendParam, String.valueOf(StandardCharsets.UTF_8));
                    String content = HTTPUtil.sendGet(sendUrl).getContent();
                    parseSingerList(content, index, i);
                }
                //TODO 计算总页数
                singerListTotalPage=1;
            }
        } catch (Exception e) {
            log.error("error : start spider singer list {} {}", e.getMessage(), e.getCause());
            e.printStackTrace();
        }

        //循环处理出错的歌手，最多四次
        if(errorSingerList.size() > 0) {
            int singerEndlessFlag = 1;
            do {
                spiderErrorSingerList();
                singerEndlessFlag++;
            } while(singerEndlessFlag < 4 && errorSingerList.size()>0);
        }
        log.info("--finish spider singer list--");


        log.info("--start spider singer song list--");
        for(int i=0; i<singerList.size();i++) {
            String singermid = singerList.get(i).getSinger_mid();
            System.out.println("--开始第"+ (i+1) +"/"+singerList.size()+" singermid: "+ singermid +" 歌手的歌曲爬取--");
            spiderSingerSongList(singermid);
        }

        log.info("--处理歌手歌曲下的错误--");
        if(errorSingerSongList.size() > 0) {
            //循环处理出错的歌手，最多四次
            int songEndlessFlag = 1;
            do {
                spiderErrorSingerSongList();
                songEndlessFlag++;
            } while(errorSingerSongList.size()>0 && songEndlessFlag < 4  );
        }
        log.info("--finish spider singer song list--");
    }

    private int sum = 0;

    /**
     * singerlist是全局变量
     * 爬取全网的歌手速度很快，不用受到限制，所以先将歌手爬完再去爬取歌曲。
     * @param content
     * @param index
     * @param page
     */
    public void parseSingerList(String content, int index, int page) {
        log.info("开始 index:{} page:{} 将singer的json数组转为singer的list集合", index, page+1);
        JSONObject json = JSONObject.parseObject(content);
        try {
            //TODO 计算总页数
            if(singerListTotalPage<=1) {
                int total = json.getJSONObject("singerList").getJSONObject("data").getInteger("total");
                sum += total;
                System.out.println("singer list的index: "+index+" page: "+ page +" " + total + " sum " + sum);
                singerListTotalPage = (total + 80 - 1) / 80;
            }
            //将singer的json数组转为singer的list集合
            JSONArray singerListJsonArray = json.getJSONObject("singerList").getJSONObject("data").getJSONArray("singerlist");
            for(int i=0; i<singerListJsonArray.size(); i++) {
                QQ2Singer qq2Singer = singerListJsonArray.getJSONObject(i).toJavaObject(QQ2Singer.class);
                //将歌手信息添加到全局变量中
                singerList.add(qq2Singer);

                /*hotSongDao.saveQQSinger(qq2Singer);*/
                hotSongDao.update(qq2Singer);

            }
        } catch (Exception e) {
            log.error("转换singerlist，url标签位置{}, 所在页面{}, 出现错误 {} {}", index, page,e.getMessage(), e.getCause());

            Map<String , Integer> errorInfo = new HashMap<>();
            errorInfo.put("index", index);
            errorInfo.put("page", page);
            errorSingerList.add(errorInfo);
        }
        log.info("完成 index:{} page:{} 将singer的json数组转为singer的list集合", index, page+1);
    }
    /**
     * 继续根据歌手列表出现的错误标签和页面爬取歌手
     * errorSingerList定义的全局变量
     */
    public void spiderErrorSingerList() {
        Map<String, Integer> errorMap = errorSingerList.poll();
        while(errorMap!= null) {
            int index = errorMap.get("index");
            int page = errorMap.get("page");
            try {
                String sendParam = param.replace("{index}", String.valueOf(index)).replace("{sin}", String.valueOf(page*80)).replace("{cur_page}", String.valueOf(page+1));
                String sendUrl = singerListUrl + URLEncoder.encode(sendParam, String.valueOf(StandardCharsets.UTF_8));
                String content = HTTPUtil.sendGet(sendUrl).getContent();
                //根据index和page爬取对应的歌手
                parseSingerList(content, index, page);

                errorMap = errorSingerList.poll();
            } catch (Exception e) {
                Map<String , Integer> errorInfo = new HashMap<>();
                errorInfo.put("index", index);
                errorInfo.put("page", page);
                errorSingerList.add(errorInfo);
            }
        }

    }




    /**
     * 爬取歌手下的全部歌曲
     * @param singerMid
     */
    public void spiderSingerSongList(String singerMid) {
        List<HotSong> hotSongs = new ArrayList<>();
        try {
            for(int i=0; i<singerSongListTotalPage; i++) {
                String sendUrl = singerSongListUrl.replace("{singermid}", singerMid).replace("{begin}", String.valueOf(30*i)).replace("{num}", String.valueOf(30));
                String content = HTTPUtil.sendGet(sendUrl).getContent();
                parseSingerSongList(content, hotSongs, singerMid, i);
            }
            //TODO
            singerSongListTotalPage=1;
        } catch (Exception e) {
            log.error("爬取 {} 歌手下面的歌曲出现错误", singerMid);
        }
        List<Song> songList = hotSongSpider.transToPO(hotSongs);
        hotSongDao.saveOrUpdate(songList);
    }

    /**
     * content
     * @param content
     * @param singerMid
     */
    public void parseSingerSongList(String content, List<HotSong> hotSongs, String singerMid, int page) {
        JSONObject json = JSONObject.parseObject(content);
        //TODO
        if(singerSongListTotalPage<=1) {
            int total = json.getJSONObject("data").getInteger("total");
            singerSongListTotalPage = (total + 30-1)/30;
        }
        JSONArray jsonSongArray = json.getJSONObject("data").getJSONArray("list");
        try {

            for(int i=0; i < jsonSongArray.size(); i++) {
                HotSong song = jsonSongArray.getJSONObject(i).getJSONObject("musicData").toJavaObject(HotSong.class);

                //获得album_id爬取相应的图片
                String mid = song.getAlbummid();
                String albumImg = null;
                try {
                    //根据url拼接url+album_mid组成完成url，比如https://y.qq.com/n/yqq/album/004PCOKh1RUAqZ.html
                    String albumImgUri = MusicConstants.ALBUM_IMG_URI + mid + ".html";
                    //降低爬取速度
                    String html = HTTPUtil.sendGet(albumImgUri).getContent();
                    albumImg = Jsoup.parse(html).getElementById("albumImg").attr("src");
                } catch (Exception e) {

                }
                song.setAlbumImg(albumImg);

                hotSongs.add(song);
            }

        } catch (Exception e) {
            Map<String , String> errorInfo = new HashMap<>();
            errorInfo.put("singerMid", singerMid);
            errorInfo.put("page", String.valueOf(page));
            errorSingerSongList.add(errorInfo);

            log.error("爬取 {} 歌手, page: {} 下面的歌曲出现错误", singerMid, page);
        }
    }

    /**
     * 继续根据歌手列表出现的错误标签和页面爬取歌手
     * errorSingerList定义的全局变量
     */
    public void spiderErrorSingerSongList() {

        Map<String, String> errorMap = errorSingerSongList.poll();
        while(errorMap!= null) {
            List<HotSong> hotSongs = new ArrayList<>();
            String singerMid = errorMap.get("singerMid");
            int page = Integer.parseInt(errorMap.get("page"));
            try {
                String sendUrl = singerSongListUrl.replace("{singermid}", singerMid).replace("{begin}", String.valueOf(30*page)).replace("{num}", String.valueOf(30));
                String content = HTTPUtil.sendGet(sendUrl).getContent();
                parseSingerSongList(content, hotSongs, singerMid, page);
                List<Song> songList = hotSongSpider.transToPO(hotSongs);
                //保存歌曲
                hotSongDao.saveOrUpdate(songList);
                errorMap = errorSingerSongList.poll();
            } catch (Exception e) {
                Map<String , String> errorInfo = new HashMap<>();
                errorInfo.put("singerMid", singerMid);
                errorInfo.put("page", String.valueOf(page));
                errorSingerSongList.add(errorInfo);
            }

        }

    }


}

 

非常感谢有小伙伴能够重复和测试我的代码，如果在重复中出现问题，或者有关键方法没有引入。请联系我，或者留言。

特别注意：由于水平有限代码肯定存在不足的地方，希望能够指正，那么我将做到更好。

email:chenrui@marsdl.com

Hello_Ray
关注
QQ music jsonp
flyonok的专栏
01-31 1436
研究了好几天的跨域调用，发现QQ音乐可以支持jsonp，简短代码如下： --> // jQuery(document).ready(function(){ // $.getJSON("http://box.zhangmen.baidu.com/x?op=12&count=1&title=最炫民族风$$凤凰传奇$$$", function(json) /
jQuery调用公共接口传json数据
qq_33840688的博客
07-23 561
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title></title> <script type="text/javascript" src="jquery-1.9.1.min.js"></script> <script> // https://www.baidu.com/sugrec?pre=1&p=.
开源宝藏：MusicJSON，音乐数据转换的新纪元
最新发布
gitblog_00351的博客
09-02 452
开源宝藏：MusicJSON，音乐数据转换的新纪元 musicjsonParses and translates MusicXML to MusicJSON and back again项目地址:https://gitcode.com/gh_mirrors/mu/musicjson 在数字化音乐创作与解析的广阔天地里，一个名为MusicJSON的开源项目正逐渐成为连接传统与现代的桥梁。此项目旨在...
10个免费开源的JS音乐播放器插件
ASP.NET
09-18 5574
音乐播放器在网页设计中有时候会用到，比如一些时尚类、音乐或影视类等项目，但这些网页播放器插件比较少见，所以这里为大家整理一个集合，也许会有用到的时候。 下面整理的播放器有些是支持自适应的，如果需要用到微信或手机上，可根据自己需要求，选择对应的网页播放器。 Codrops Audio Codrops Audio 界面使用纯CSS编写，支持响应式，可以方便在桌面、平板以及手机设备上使
josn公开接口
m0_53912016的博客
05-07 691
1 这个接口是根据attr的不同来进行显示渲染不同的数据撒 { "code": 10000, "msg": "成功", "data": [ { "id": 1, "attr": 0, "name": "水果" }, { "id": 2, "attr": 0, "name": "绿茶"
jsonp——使用公共接口获取数据
dengyunhui1210的博客
06-25 299
demo： <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>ajax text</title> <script type="text/javascript" src="jquery-1.12.4.mi...
收集的公共接口，返回格式为json，绝对值得收藏！！！
各研发管理
03-14 852
物流接口 快递接口: http://www.kuaidi100.com/query?type=快递公司代号&amp;postid=快递单号ps:快递公司编码:申通="shentong" EMS="ems" 顺丰="shunfeng" 圆通="yuantong" 中通="zhongtong" 韵达="yunda" 天天="tiantian" 汇通=&qu
易语言-QQ空间登录例子
06-29
QQ空间是中国流行的社交媒体平台，用户可以在其中分享生活动态、照片、音乐等。本知识点将围绕使用易语言实现QQ空间登录的示例进行详细讲解。 1. **易语言基础** 易语言的设计理念是“易学易用”，它采用了中文...
Android开发--使用实体类解析JSON文本
Outlier的博客
08-06 3134
Android开发–使用实体类解析JSON文本 在Android开发过程中，涉及到了API的调用的时候，会返回特定的数据，两个主流返回的数据格式是JSON形式和XML形式。但是相对于XML，JSON数据格式有着比较简单，易于读写，格式都是压缩的，占用带宽小等优点，这里介绍的是JSON文本的解析，采用的方法是实体类解析。 准备：这里使用的是谷歌的JSON解析—GSON
「前端996」腾讯-QQ音乐-面试经历（整理）
超逸の学习技术博客
09-02 2003
几个跨域的知识，直接干懵我了...
利用Python库解析网易云API数据
Python作为一门强大且易于学习的编程语言，拥有丰富的第三方库支持，为数据解析提供了便利。在本文中，我们将使用Python中的requests库发送HTTP请求获取网易云API数据，然后使用json库解析数据，
MusicGenres:所有常规音乐类型的JSON列表
05-25
音乐流派 所有常规音乐类型的JSON列表 我们为图书馆建设者提供高达900多种类型的流派！ 安装安装 CDN < script src =" ttps://unpkg.com/musicgenres-json@latest/dist/index.js " > </ script > NPM npm install musicgenres-json --save # Or use Yarn yarn add musicgenres-json 导入和使用 浏览器 < script > const genres = new MusicGenres ( ) console . log ( genres . get ( ) ) </ script > ES6 import MusicGenres from 'musicgenres-json' const genres =
C/C++学习路线总结与分享
热门推荐
dvlinker的技术专栏
10-07 9万+
C/C++学习路线总结与分享
基于Qt的音乐播放器（三）通过酷狗音乐的api接口，返回json格式歌曲信息（播放地址，歌词，图片）
花狗Fdog的博客
08-11 8831
文章目录前言1.获取歌曲搜索列表api接口2.获取单个歌曲详细信息包括歌词3.总结 前言 首先说明，本教程仅供个人学习,研究使用，禁止用于任何的商业和非法用途。（手动狗头）之所以要研究这个，是因为我想让我的播放器连上网络，而如果自己用数据库保存歌曲的相关信息不太现实，于是想到使用市面上的音乐软件，看看能不能找到api接口。最后声明，仅供学习使用，切莫用于商业用途。 1.获取歌曲搜索列表api接口 打开酷狗官网，在搜索栏中输入凤凰传奇，并按F12进入开发者工具，并选择Network（Network会显..
各大音乐社区api接口（MP3&LRC）
流浪的灬裤衩
12-26 3283
转载地址:http://blog.csdn.net/wolfcyl/article/details/6069500 http://blog.csdn.net/mirkerson/article/details/8656930 百度： sound: http://box.zhangmen.baidu.com/x?op=12&count=1&title=不得不爱$$潘玮柏$$$
Json数据的解析
xgq330409675的博客
04-07 1494
最新在写基于安卓的网络音乐播放器，搜索网络音乐时服务器端返回json数据响应，为了从中取出我们需要的音乐信息，需要对json数据进行分析，通过在网络搜索结合自己的了解后发现其实这种数据结构还是比较简单了。在包org.json下有如下几个类 JSONObject JSONObject有一个String参数的构造函数，用法为 JSONObject jo = new JSONObject(string)
vue-music (2) jsonp 及jsonp第三方插件的使用
望天一方小叶子的博客
09-02 838
jsonp 发送的不是ajax，而是script标签，因为script不受同源策略影响，里面的src指向服务端地址，地址后跟着一个参数：callback 前端在发送请求之前在windows注册一个jsonp1事件，请求的数据包裹在jsonp1中，在调用jsonp1的数据渲染dom等。 使用第三方插件： jsonp import OrignJsonp from 'jsonp' expor...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值