hadoop流行音乐排行榜实例

最新推荐文章于 2023-11-02 23:48:56 发布
最新推荐文章于 2023-11-02 23:48:56 发布
阅读量3.3k 收藏 31
点赞数 3
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjy1025104554/article/details/72246305
版权

前言

本实例是本人在课设上的作品，为本人原创，文中有设计思路和核心算法，若本人在理解上有问题或者代码还需优化的地方，欢迎一起讨论。

实例描述

现在在网上听歌的人越来越多，有些人听自己常听的歌，厌倦了想听新歌曲，但是又不知道去哪找，如果有音乐排行榜就可以解决这一问题。所以做一个最受欢迎单曲统计程序很有价值也很实用。普通的音乐处理程序无法解决互联网上的巨量信息，我们所学的hadoop分布式恰恰可以处理大数据，所以用hadoop的mapreduce来解决最受欢迎单曲统计这个问题再好不过了。

业务逻辑

  1. 输入n个文件
  2. 读取n个文件内容
  3. 统计每个单曲的数量
  4. 比较每个单曲数量，得出排名

这里写图片描述

难点

  1. 是不是要考虑一些几个单词组成的歌曲，要重新设计如何从文件中获取每首歌曲
  2. 对于生成的文件，如何进行排序
/*
*@name class:MusicLine.java
*@function 实现分割文本文件歌曲
*/

package musicrank.tiger.com;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

public class MusicLine {
    private String music;
    private IntWritable one = new IntWritable(1);
    // the flag represent the data is available

    private boolean right = true;

    public MusicLine(String musicLine) {
        // to test whether a row of data is reasonable
        if (musicLine == null || "".equals(musicLine)) {
            this.right = false;
            return;
        }
        String[] strs = musicLine.split("//"); // the music split by //
/*      if (strs.length < 2) {
            this.right = false;
            return;
        }*/
        this.music = strs[0];
    }

    public boolean isRight() {
        return right;
    }

    /*
     * @param return map -- key
     * 
     * @return
     * 
     */
    public Text getMusicCountMapOutKey() {
        return new Text(this.music);
    }

    /*
     * @param return map -- value
     * 
     * @return
     * 
     */
    public IntWritable getMusicCountMapOutValue() {
        return this.one;
    }
}
/*
*@name class:MusicMapper.java
*@function 将key和value写入map（key,value）
*/

package musicrank.tiger.com;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

// 创建一个 WordMapper类 继承于 Mapper抽象类
public class MusicMapper extends Mapper<Object, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    // Mapper抽象类的核心方法，三个参数
    public void map(Object key, // 首字符偏移量
            Text value, // 文件的一行内容
            Context context) // Mapper端的上下文，与 OutputCollector 和 Reporter 的功能类似
            throws IOException, InterruptedException {
        /*
         * StringTokenizer itr = new StringTokenizer(value.toString()); while
         * (itr.hasMoreTokens()) { word.set(itr.nextToken());
         * context.write(word, one);
         */
        MusicLine musicLine = new MusicLine(value.toString());
        if (musicLine.isRight()) {
            context.write(musicLine.getMusicCountMapOutKey(), musicLine.getMusicCountMapOutValue());
        }

    }
}
/*
*@name class:MusicReducer.java
*@function 通过遍历values，根据key对应的value个数重新计算key的值，然后通过context.write写入
*/

package musicrank.tiger.com;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

// 创建一个 WordReducer类 继承于 Reducer抽象类
public class MusicReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable(); // 用于记录 key 的最终的词频数

    // Reducer抽象类的核心方法，三个参数
    public void reduce(Text key, // Map端 输出的 key 值
            Iterable<IntWritable> values, // Map端 输出的 Value 集合（相同key的集合）
            Context context) // Reduce 端的上下文，与 OutputCollector 和 Reporter 的功能类似
            throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) // 遍历 values集合，并把值相加
            {
                sum += val.get();
            }
            result.set(sum); // 得到最终词频数
            context.write(key, result); // 写入结果
    }
}
/*
*@name class:MusicMapSort.java 
*@function 继承于IntWritable.Comparator,实现对map（key,value）进行排序
*/

package musicrank.tiger.com;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.WritableComparator;

public class MusicMapSort extends IntWritable.Comparator{
    public int compare(WritableComparator a,WritableComparator b) {
        return -super.compare(a, b);
    }
    public int compare(byte[]b1,int s1,int l1,byte[]b2,int s2,int l2) {
        return -super.compare(b1, s1, l1, b2, s2, l2);
    }
}
/*
*@name class:MusicMain.java
*@function 主函数，对功能的 实现
*/

package musicrank.tiger.com;

import java.util.Random;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat;
import org.apache.hadoop.mapreduce.lib.map.InverseMapper;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class MusicMain {

    public static void main(String[] args) throws Exception {
        // Configuration类：读取Hadoop的配置文件，如 site-core.xml...；
        // 也可用set方法重新设置（会覆盖）：conf.set("fs.default.name", "hdfs://xxxx:9000")
        Configuration conf = new Configuration();

        // 将命令行中参数自动设置到变量conf中
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

        /**
         * 这里必须有输入输出
         */

        if (otherArgs.length != 2) {
            System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }

        Path tempDir = new Path("wordcount-temp-" + Integer.toString(new Random().nextInt(Integer.MAX_VALUE)));

        @SuppressWarnings("deprecation")
        Job job = new Job(conf, "word count"); // 新建一个 job，传入配置信息
        job.setJarByClass(MusicMain.class); // 设置 job 的主类

        try {
            job.setMapperClass(MusicMapper.class);// 设置 job 的 Mapper 类
            job.setCombinerClass(MusicReducer.class); // 设置 job 的 作业合成类
            job.setReducerClass(MusicReducer.class); // 设置 job 的 Reducer 类
            job.setOutputKeyClass(Text.class); // 设置 job 输出数据的关键类
            job.setOutputValueClass(IntWritable.class); // 设置 job 输出值类
            FileInputFormat.addInputPath(job, new Path(otherArgs[0])); // 文件输入

            FileOutputFormat.setOutputPath(job, tempDir); // temp dir

            // FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); //
            // 文件输出

            job.setOutputFormatClass(SequenceFileOutputFormat.class);
            if (job.waitForCompletion(true)) {
                Job sortJob = new Job(conf, "sort");
                sortJob.setJarByClass(MusicMain.class);

                FileInputFormat.addInputPath(sortJob, tempDir);
                sortJob.setInputFormatClass(SequenceFileInputFormat.class);

                sortJob.setMapperClass(InverseMapper.class);
                sortJob.setNumReduceTasks(1);
                FileOutputFormat.setOutputPath(sortJob, new Path(otherArgs[1]));

                sortJob.setOutputKeyClass(IntWritable.class);
                sortJob.setOutputValueClass(Text.class);
                sortJob.setSortComparatorClass(MusicMapSort.class);

                System.exit(sortJob.waitForCompletion(true) ? 0 : 1); // 等待完成退出
            }

        } finally {
            FileSystem.get(conf).deleteOnExit(tempDir);
        }
    }
}

测试用例

music1.txt

As long as you love me//
Baby//
Love Yourself//
Sorry//
My Boyfriend Is Gay//
Sugar//
Cold//
Let Me Love You//
Feeling U//
Stronger//Faded//
I Am You//
Time Machine//
What Are Words//
Black Black Heart//
Sketch Plane//
We Are One//
Boyfriend//
Animals//Animals//
Booty Music//
Booty Music//
Booty Music//
Booty Music//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Let Her Go//La La La//Walk Away//
Baby//
Baby//
Baby//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Baby//
Love Yourself//
Sorry//
My Boyfriend Is Gay//
Sugar//
Cold//
Let Me Love You//
Feeling U//
Stronger//
Faded//
I Am You//
Time Machine//
What Are Words//
Black Black Heart//
Sketch Plane//
We Are One//
Boyfriend//
Animals//
Animals//
Booty Music//
Booty Music//
Booty Music//
Booty Music//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Let Her Go//
La La La//
Walk Away//
Baby//
Baby//
Baby//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Free Loop//
Top Of The World//
Solo Dance//
Until You//
Numb//
Numb//
Numb//
Numb//
Numb//
Numb//
Numb//
Numb//
Communication//
I just Wanna Run

music2.txt

As long as you love me//
Baby//
Love Yourself//
Sorry//
My Boyfriend Is Gay//
Sugar//
Cold//
Let Me Love You//
Feeling U//
Stronger//Faded//
I Am You//
Time Machine//
What Are Words//
Black Black Heart//
Sketch Plane//
We Are One//
Boyfriend//
Animals//Animals//
Booty Music//
Booty Music//
Booty Music//
Booty Music//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Let Her Go//La La La//Walk Away//
Baby//
Baby//
Baby//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Baby//
Love Yourself//
Sorry//
My Boyfriend Is Gay//
Sugar//
Cold//
Let Me Love You//
Feeling U//
Stronger//
Faded//
I Am You//
Time Machine//
What Are Words//
Black Black Heart//
Sketch Plane//
We Are One//
Boyfriend//
Animals//
Animals//
Booty Music//
Booty Music//
Booty Music//
Booty Music//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Let Her Go//
La La La//
Walk Away//
Baby//
Baby//
Baby//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
Love Yourself//
As long as you love me//
As long as you love me//
As long as you love me//
As long as you love me//
Black Black Heart//
Sketch Plane//
We Are One//
Boyfriend//
Animals//
Animals//
Booty Music

结果

这里写图片描述

侠客码农
关注
  • 3
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验
Duck_Duck_的博客
05-27 2385
目录 一、VMware安装 二、VMwareTools安装 三、更新apt 四、安装配置SSH 五、安装JAVA环境 六、Hadoop安装 七、克隆一台slave 八、修改主机名和测试连通 九、SSH无密码登录Slave 十、配置集群/分布式环境 十一、Hbase的安装与配置 十二、MapReduce与Hbase集成环境 十三、Eclipse安装与配置 十四、音乐...
Hadoop综合实战之MapReduce运算优化——音乐排行榜
gaofengyan的博客
01-15 3489
目录 1. 小项目                                                              2. Map开发 3. Reduce 开发                                                    4. 反转键值操作Map开发 5. 排序                                 ...
Hadoop编程实例源码
最新发布
04-21
包含了Hadoop编程项目的源码，包含多个项目
hadoop实现云音乐排行榜
weixin_46406308的博客
11-30 1983
7.使用Hbase中的completebulkload将tmp目录移动到Hregion中完成数据加载。2.MapReduce与Hbase的集成时hbase数据库中必须有scores表不然会报错。1 准备数据创建music1.txt, music2.txt, music3,txt文件。1.代码上传运行后若之前有正常突然发现无法运行某节点无法连接。4.使用hadoop jar+jar包方式运行代码。解决：重启所有节点虚拟机，然后查看服务是否未开启。8.进入Hbase查看是否导入。6.在hadoop中查看结果。
Hadoop综合实战——音乐排行榜
m0_52931616的博客
11-30 891
Hadoop综合实战——音乐排行榜，此实验在windows操作系统下进行的，使用IDEA编译运行。
音乐排行榜
~~~的博客
08-27 1792
实验目的 理解HDFS、MapReduce和Hbase的集成使用 掌握快速导入数据到Hbase的方法 掌握利用MapReduce接受Hbase数据输入 掌握利用MapReduce输出到Hbase的应用 一、 MapReduce与Hbase的集成 1、 将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下 2、编译$HADOOP_HOME/etc/hadoop...
【大数据毕设】基于Hadoop的音乐管理系统论文(三)
Maynor的博客
09-09 4422
基于Hadoop的音乐推荐系统的课题研究目的主要包括以下几个方面：音乐数据处理和管理：收集音乐数据，并通过Hadoop的分布式文件系统HDFS对音乐数据进行存储和管理。此外，对音乐数据进行预处理和清洗，包括音乐信息的提取、歌词分析、音乐特征提取等，以便后续的分析和处理。用户行为数据收集：收集用户行为数据，包括用户的历史听歌记录、搜索历史等，为后续的推荐算法提供依据。推荐算法研究：针对音乐推荐的实际需求，研究和实现各种推荐算法，包括基于内容的推荐、协同过滤推荐、矩阵分解推荐等。
【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)
热门推荐
Maynor的博客
09-25 1万+
作为基于大数据的音乐推荐系统，其功能主要是对数据进行处理，保证能够在大量低质量的数据中筛选出高质量的数据，在这个过程中要保证能够数据的准确性以及结果的准确性，再结合需求进行剖析，在设计系统时要从程序、功能和友好界面等方面进行考虑，从而设计出更加便捷的系统。在了解系统需求之后，基于大数据的音乐推荐系统可分为数据清洗，数据上传，数据分析，数据存储，数据可视化这一整个流程模块。
基于Hadoop平台的音乐推荐系统的设计与实现
QQ2743785109的博客
11-02 1735
近年来，随着网络技术的发展，在线音乐平台成为人们听歌曲的首选。面对海量的音乐数据，用户们往往显得无从选择。听歌作为日常的娱乐放松方式，一首首的试听明显不太现实，所以需要进行一定程度的筛选。本论文根据此需求，设计并实现了一个音乐推荐系统。该系统是基于Spring Boot框架，运用到Hadoop平台中HDFS进行存储，Map Reduce进行计算。该系统前端由首页管理、歌曲歌手管理及个人信息管理等主要功能模块构成，能够满足用户想要的歌单推荐和歌曲推荐。
hadoop上传文件功能实例代码
08-29
hadoop上传文件功能实例代码 hadoop上传文件功能实例代码主要介绍了hadoop上传文件功能实例代码，需要的朋友可以参考下。hdfs上的文件是手动执行命令从本地Linux上传至hdfs的。在真实的运行环境中，我们不可能每次...
Hadoop大数据解决方案
07-20
基于Hadoop生态系统的大数据解决方案，贯穿案例，音乐排行榜，是最好的项目实战案例
基于hadoopp平台的推荐系统
01-22
这是一个基于hadoop平台的推荐系统，里面代码完整，能很好的帮助对推荐系统感兴趣的开发人员和学生，共同学习
hadoop的wordcount实例代码
08-28
Hadoop的WordCount实例代码解析 Hadoop的WordCount实例代码是Hadoop MapReduce编程模型的经典示例，通过对大文件中的单词出现次数的统计，展示了MapReduce编程模型的基本思想和实现细节。 Hadoop MapReduce编程...
hadoop实例
11-30
1. **Hadoop安装与配置**：在开始Hadoop实例之前，我们需要在多台机器上安装和配置Hadoop环境，包括配置Hadoop的配置文件（如hdfs-site.xml、core-site.xml、mapred-site.xml等），设置环境变量，以及初始化HDFS和...
基于hadoop大数据的音乐推荐系统
qq_42135426的博客
12-28 4561
基于hadoop大数据的音乐推荐系统
Hadoop大数据处理与分析教程
m0_51338409的博客
10-19 2216
本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop）链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6提取码：i5s6。
Hadoop在Last.fm的应用－－音乐排行榜
Jack Zhou的专栏
05-04 2597
本文整理自：http://cloud.it168.com/a2011/0922/1250/000001250122.shtml     Last.fm：社会音乐史上的革命     Last.fm创办于2002年，它是一个提供网络电台和网络音乐服务的社区网站，向用户提供很多服务，例如免费听音乐和音乐下载，音乐及重大事件推荐，个性化图表服务以及其他很多服务。每个月大约有2500万人使用Last
Last.fm歌曲榜单的MapReduce实现
威廉的大数据实验室
11-15 1107
本篇文章将结合一个实例来看看Mapper/Reducer代码构建思路   Last.fm是一个音乐社区网站，需要根据用户的收听记录生成不同种类的歌曲榜单，用户数据主要有以下两个来源： l   用户在自己设备上播放的音乐，称为scrobble l   用户在Last.fm网站的广播电台在线收听radio，用户可以选择跳过skip 数据提交到Last.fm后，经过验证和转换，最后存储为一行空
Hadoop大数据离线项目的运行流程图
James__Tao的博客
09-26 2461
Hadoop实战指南：经典实例解析
《Hadoop实战》是一本全面覆盖Hadoop技术和应用的指南，通过丰富的实例和详细讲解，读者可以系统地学习到Hadoop的核心概念、工作原理以及在实际项目中的应用技巧。无论是对大数据感兴趣的个人还是希望提升团队技术...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值