hadoop实现云音乐排行榜

已于 2022-12-21 20:34:46 修改
阅读量1.9k 收藏 26
点赞数 5
文章标签： hadoop hbase 大数据
于 2022-11-30 09:43:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46406308/article/details/128109089
版权

文章目录

一、MapReduce与Hbase的集成

  1. 将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下
    在这里插入图片描述
  2. .编辑$HADOOP_HOME/etc/hadoop/Hadoop-enc.sh文件，增加一下内容
    在这里插入图片描述
    在这里插入图片描述
  3. Hbase与MapReduce集成环境测试
    在这里插入图片描述
  4. .测试结果
    在这里插入图片描述
    在这里插入图片描述

二、批量数据导入

1 准备数据创建music1.txt, music2.txt, music3,txt文件
在这里插入图片描述
2. 导入虚拟机，然后上传到hadoop
在这里插入图片描述
在这里插入图片描述
3. 推入到hadoop
在这里插入图片描述
4.查看是否推入成功
在这里插入图片描述
5.使用Hbase自带工具类批量导入方式导入
在这里插入图片描述
6.查看运行结果
在这里插入图片描述
在这里插入图片描述
7.使用Hbase中的completebulkload将tmp目录移动到Hregion中完成数据加载
在这里插入图片描述
8.进入Hbase查看是否导入
在这里插入图片描述

三、 Hbase MapReduce API-运行TableMapperDemo

TableMapper使用从Hbase中读取数据代码

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by FernFlower decompiler)
//

package com.music;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class TableMapperDemo {
    public TableMapperDemo() {
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = HBaseConfiguration.create();
        new GenericOptionsParser(conf, args);
        System.out.println("temjars");
        conf.set("hbase.mapreduce.inputtable", "music");
        conf.set("hbase.mapreduce.scan.columns", "info:name info:gender");
        conf.set("hbase.mapreduce.scan.row.start", "music1");
        conf.set("hbase.zookeeper.quorum", "Cluster-01:2181,Cluster-02:2181,Cluster-03:2181,Cluster-04:2181,Cluster-05:2181");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.address", "Cluster-01:8032");
        conf.set("yarn.resourcemanager.scheduler.address", "Cluster-01:8030");
        conf.addResource("mapred-site.xml");
        conf.addResource("core-site.xml");
        conf.addResource("hdfs-site.xml");
        conf.addResource("yarn-site.xml");
        Job job = Job.getInstance(conf, "hbase-mapreduce-api");
        job.setJarByClass(TableMapperDemo.class);
        job.setInputFormatClass(TableInputFormat.class);
        job.setMapperClass(TableMapperDemo.Mapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        List<String> libjars = new ArrayList();
        job.getConfiguration().set("tmpjars", StringUtils.join(libjars, ','));
        Path output = new Path("/output2/music2");
        if (FileSystem.get(conf).exists(output)) {
            FileSystem.get(conf).delete(output, true);
        }

        FileOutputFormat.setOutputPath(job, output);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("gender"));
        TableMapReduceUtil.initTableMapperJob("music", scan, TableMapperDemo.Mapper.class, Text.class, (Class)null, job);
        job.waitForCompletion(true);
    }

    static class Mapper extends TableMapper<Text, Text> {
        Mapper() {
        }

        protected void map(ImmutableBytesWritable key, Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable, Result, Text, Text>.Context context) throws IOException, InterruptedException {
            List<Cell> cells = value.listCells();
            Iterator var6 = cells.iterator();

            while(var6.hasNext()) {
                Cell cell = (Cell)var6.next();
                String outValue = String.format("Rowkey:%s Family:%s Qualifier:%s cellValue:%s", Bytes.toString(key.get()), Bytes.toString(CellUtil.cloneFamily(cell)), Bytes.toString(CellUtil.cloneQualifier(cell)), Bytes.toString(CellUtil.cloneValue(cell)));
                context.write(new Text(CellUtil.getCellKeyAsString(cell)), new Text(outValue));
            }

        }
    }
}

2.更改yarn-site.xml文件并发送到各个节点
在这里插入图片描述
3.将代码打包发送到虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4.使用hadoop jar+jar包方式运行代码
在这里插入图片描述
5.运行结果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
6.在hadoop中查看结果
在这里插入图片描述
在这里插入图片描述
7.访问192.168.10.111：8080/cluster/apps/查看

在这里插入图片描述

四、TableMapper数据去重

1.TableMapperDemo2代码编写

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by FernFlower decompiler)
//

package com.music;

import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.util.GenericOptionsParser;

public class TableMapperDemo2 {
    public TableMapperDemo2() {
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = HBaseConfiguration.create();
        new GenericOptionsParser(conf, args);
        conf.set("hbase.zookeeper.quorum", "Cluster-01:2181,Cluster-02:2181,Cluster-03:2181,Cluster-04:2181,Cluster-05:2181");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.address", "Cluster-01:8032");
        conf.set("yarn.resourcemanager.scheduler.address", "Cluster-01:8030");
        conf.addResource("mapred-site.xml");
        conf.addResource("core-site.xml");
        conf.addResource("hdfs-site.xml");
        conf.addResource("yarn-site.xml");
        Job job = Job.getInstance(conf, "hbase-mapreduce-api");
        job.setJarByClass(TableMapperDemo2.class);
        job.setOutputFormatClass(TableOutputFormat.class);
        job.getConfiguration().set("hbase.mapred.outputtable", "namelist");
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
        TableMapReduceUtil.initTableMapperJob("music", scan, TableMapperDemo2.MyMapper.class, Text.class, Put.class, job);
        job.waitForCompletion(true);
    }

    static class MyMapper extends TableMapper<Text, Put> {
        MyMapper() {
        }

        protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, Text, Put>.Context context) throws IOException, InterruptedException {
            List<Cell> cells = value.listCells();
            Iterator var6 = cells.iterator();

            while(var6.hasNext()) {
                Cell cell = (Cell)var6.next();
                Put put = new Put(CellUtil.cloneValue(cell));
                put.addColumn(Bytes.toBytes("details"), Bytes.toBytes("rank"), Bytes.toBytes(0));
                context.write(new Text(Bytes.toString(CellUtil.cloneValue(cell))), put);
            }

        }
    }
}

2.先创建namelist表
在这里插入图片描述
3.打成jar包运行
在这里插入图片描述
4.运行结果
在这里插入图片描述
在这里插入图片描述
5.进入hbase查看namelist
在这里插入图片描述

五、TableReduce统计

1.编写TableReduce代码

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by FernFlower decompiler)
//

package com.music;

import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.util.GenericOptionsParser;

public class TableReduceDemo {
    public TableReduceDemo() {
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = HBaseConfiguration.create();
        new GenericOptionsParser(conf, args);
        Job job = Job.getInstance(conf, "top-music");
        job.setJarByClass(TableReduceDemo.class);
        job.setNumReduceTasks(2);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
        TableMapReduceUtil.initTableMapperJob("music", scan, TableReduceDemo.MyMapper.class, Text.class, IntWritable.class, job);
        TableMapReduceUtil.initTableReducerJob("namelist", TableReduceDemo.MyReducer.class, job);
        job.waitForCompletion(true);
    }

    static class MyMapper extends TableMapper<Text, IntWritable> {
        MyMapper() {
        }

        protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            List<Cell> cells = value.listCells();
            Iterator var6 = cells.iterator();

            while(var6.hasNext()) {
                Cell cell = (Cell)var6.next();
                context.write(new Text(Bytes.toString(CellUtil.cloneValue(cell))), new IntWritable(1));
            }

        }
    }

    static class MyReducer extends TableReducer<Text, IntWritable, Text> {
        MyReducer() {
        }

        protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, Mutation>.Context context) throws IOException, InterruptedException {
            int playCount = 0;

            IntWritable num;
            for(Iterator var6 = values.iterator(); var6.hasNext(); playCount += num.get()) {
                num = (IntWritable)var6.next();
            }

            Put put = new Put(Bytes.toBytes(key.toString()));
            put.addColumn(Bytes.toBytes("details"), Bytes.toBytes("rank"), Bytes.toBytes(playCount));
            context.write(key, put);
        }
    }
}

2.打包上传运行
在这里插入图片描述
3.查看运行结果在这里插入图片描述
4.进入habse查看表
在这里插入图片描述

六、音乐排行榜的实现

1.音乐排行榜代码编写

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by FernFlower decompiler)
//

package com.music;

import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.IntWritable.Comparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class TopMusic {
    static final String TABLE_MUSIC = "music";
    static final String TABLE_NAMELIST = "namelist";
    static final String OUTPUT_PATH = "topmusic";
    static Configuration conf = HBaseConfiguration.create();

    public TopMusic() {
    }

    static boolean musicCount(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Job job = Job.getInstance(conf, "music-count");
        job.setJarByClass(TopMusic.class);
        job.setNumReduceTasks(2);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
        TableMapReduceUtil.initTableMapperJob("music", scan, TopMusic.ScanMusicMapper.class, Text.class, IntWritable.class, job);
        TableMapReduceUtil.initTableReducerJob("namelist", TopMusic.IntNumReducer.class, job);
        return job.waitForCompletion(true);
    }

    static boolean sortMusic(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Job job = Job.getInstance(conf, "sort-music");
        job.setJarByClass(TopMusic.class);
        job.setNumReduceTasks(1);
        job.setSortComparatorClass(TopMusic.IntWritableDecreaseingComparator.class);
        TableMapReduceUtil.initTableMapperJob("namelist", new Scan(), TopMusic.ScanMusicNameMapper.class, IntWritable.class, Text.class, job);
        Path output = new Path("topmusic");
        if (FileSystem.get(conf).exists(output)) {
            FileSystem.get(conf).delete(output, true);
        }

        FileOutputFormat.setOutputPath(job, output);
        return job.waitForCompletion(true);
    }

    static void showResult() throws IllegalArgumentException, IOException {
        FileSystem fs = FileSystem.get(conf);
        FSDataInputStream in = null;

        try {
            in = fs.open(new Path("topmusic/part-r-00000"));
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }

    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        GenericOptionsParser gop = new GenericOptionsParser(conf, args);
        String[] otherArgs = gop.getRemainingArgs();
        if (musicCount(otherArgs) && sortMusic(otherArgs)) {
            showResult();
        }

    }

    static class IntNumReducer extends TableReducer<Text, IntWritable, Text> {
        IntNumReducer() {
        }

        protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, Mutation>.Context context) throws IOException, InterruptedException {
            int playCount = 0;

            IntWritable num;
            for(Iterator var6 = values.iterator(); var6.hasNext(); playCount += num.get()) {
                num = (IntWritable)var6.next();
            }

            Put put = new Put(Bytes.toBytes(key.toString()));
            put.addColumn(Bytes.toBytes("details"), Bytes.toBytes("rank"), Bytes.toBytes(playCount));
            context.write(key, put);
        }
    }

    private static class IntWritableDecreaseingComparator extends Comparator {
        private IntWritableDecreaseingComparator() {
        }

        public int compare(WritableComparable a, WritableComparable b) {
            return -super.compare(a, b);
        }

        public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
            return -super.compare(b1, s1, l1, b2, s2, l2);
        }
    }

    static class ScanMusicMapper extends TableMapper<Text, IntWritable> {
        ScanMusicMapper() {
        }

        protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            List<Cell> cells = value.listCells();
            Iterator var6 = cells.iterator();

            while(var6.hasNext()) {
                Cell cell = (Cell)var6.next();
                if (Bytes.toString(CellUtil.cloneFamily(cell)).equals("info") && Bytes.toString(CellUtil.cloneQualifier(cell)).equals("name")) {
                    context.write(new Text(Bytes.toString(CellUtil.cloneValue(cell))), new IntWritable(1));
                }
            }

        }
    }

    static class ScanMusicNameMapper extends TableMapper<IntWritable, Text> {
        ScanMusicNameMapper() {
        }

        protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, IntWritable, Text>.Context context) throws IOException, InterruptedException {
            List<Cell> cells = value.listCells();
            Iterator var6 = cells.iterator();

            while(var6.hasNext()) {
                Cell cell = (Cell)var6.next();
                context.write(new IntWritable(Bytes.toInt(CellUtil.cloneValue(cell))), new Text(Bytes.toString(key.get())));
            }

        }
    }
}

2.打包运行
在这里插入图片描述
3.查看结果输出
在这里插入图片描述
在这里插入图片描述

七：sqoop工具的使用

  1. 安装：将 /root/package/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 压缩包解压到/home/admin 目录下并改名
    在这里插入图片描述
  2. 配置 Sqoop 环境修改 sqoop-env.sh 文件，添加 Hdoop、Hbase、Hive 等组件的安装路径
    在这里插入图片描述
    在这里插入图片描述
  3. 配置 Linux 系统环境变量，添加 Sqoop 组件的路径
    在这里插入图片描述
  4. 测试验证
    在这里插入图片描述
  5. 测试 Sqoop 是否能够正常连接 MySQL 数据库（需要在lib文件中导入jdbc连接包）
    在这里插入图片描述
  6. 创建数据库
    在这里插入图片描述
  7. 实现数据迁移（需要将之前HDFS下生成的名为/topmusic/part-r-00000的包挪到/下）
    在这里插入图片描述
  8. 迁移成功
    在这里插入图片描述
  9. 查看数据
    在这里插入图片描述
  10. 前端网页实现显示数据
    在这里插入图片描述
  11. 网页显示结果

在这里插入图片描述

出现的问题与解决方案

1.代码上传运行后若之前有正常突然发现无法运行某节点无法连接
解决：重启所有节点虚拟机，然后查看服务是否未开启
2.MapReduce与Hbase的集成时hbase数据库中必须有scores表不然会报错

林图
关注
  • 5
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop综合实战之MapReduce运算优化——音乐排行榜
gaofengyan的博客
01-15 3483
目录 1. 小项目                                                              2. Map开发 3. Reduce 开发                                                    4. 反转键值操作Map开发 5. 排序                                 ...
Last.fm歌曲榜单的MapReduce实现
威廉的大数据实验室
11-15 1104
本篇文章将结合一个实例来看看Mapper/Reducer代码构建思路   Last.fm是一个音乐社区网站，需要根据用户的收听记录生成不同种类的歌曲榜单，用户数据主要有以下两个来源： l   用户在自己设备上播放的音乐，称为scrobble l   用户在Last.fm网站的广播电台在线收听radio，用户可以选择跳过skip 数据提交到Last.fm后，经过验证和转换，最后存储为一行空
Hadoop综合实战——音乐排行榜
m0_52931616的博客
11-30 853
Hadoop综合实战——音乐排行榜，此实验在windows操作系统下进行的，使用IDEA编译运行。
Hadoop在Last.fm的应用－－音乐排行榜
Jack Zhou的专栏
05-04 2594
本文整理自：http://cloud.it168.com/a2011/0922/1250/000001250122.shtml     Last.fm：社会音乐史上的革命     Last.fm创办于2002年，它是一个提供网络电台和网络音乐服务的社区网站，向用户提供很多服务，例如免费听音乐和音乐下载，音乐及重大事件推荐，个性化图表服务以及其他很多服务。每个月大约有2500万人使用Last
hadoop流行音乐排行榜实例
wjy1025104554的博客
05-16 3343
前言本实例是本人在课设上的作品，为本人原创，文中有设计思路和核心算法，若本人在理解上有问题或者代码还需优化的地方，欢迎一起讨论。实例描述现在在网上听歌的人越来越多，有些人听自己常听的歌，厌倦了想听新歌曲，但是又不知道去哪找，如果有音乐排行榜就可以解决这一问题。所以做一个最受欢迎单曲统计程序很有价值也很实用。普通的音乐处理程序无法解决互联网上的巨量信息，我们所学的hadoop分布式恰恰可以处理大数据，
音乐排行榜
~~~的博客
08-27 1788
实验目的 理解HDFS、MapReduce和Hbase的集成使用 掌握快速导入数据到Hbase的方法 掌握利用MapReduce接受Hbase数据输入 掌握利用MapReduce输出到Hbase的应用 一、 MapReduce与Hbase的集成 1、 将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下 2、编译$HADOOP_HOME/etc/hadoop...
使用hadoop实现WordCount实验报告.docx
06-10
**使用Hadoop实现WordCount实验报告** 实验报告的目的是详细记录使用Hadoop在Windows环境下实现WordCount应用的过程，包括环境配置、WordCount程序的实现以及实验结果分析。本实验旨在理解Hadoop分布式计算的基本...
Hadoop云计算和云存储源码实现解析
08-06
《Hadoop云计算和云存储源码实现解析》是针对大数据技术初学者及进阶者的一份宝贵资料，它深入探讨了Hadoop在云计算和云存储领域的应用与源码解析。Hadoop作为开源的大数据处理框架，是理解大数据处理机制的关键。本...
云部署中的Hadoop
02-26
克服挑战并将基于云的Hadoop部署的优势最大化Hadoop和云似乎是最佳搭档。它们都包含灵活和分布式的处理与存储，而且都带有一个灵活的实例系统。它们还使您能够根据数据和处理需求来扩大和收缩Hadoop集群。但这会引发...
Hadoop大数据云平台
12-20
Hadoop大数据云平台是当前大数据处理领域中的核心组件，它为海量数据的存储和处理提供了高效、可扩展的解决方案。这个压缩包包含了关于Hadoop云平台的系统架构、搭建过程及理论的详细资料，让我们一起来深入探讨这些...
一个关于音乐排行 HTML静态网站
12-02
一个关于音乐排行搜索的网站，初学者必备的网站实例，提高学习能力。
基于hadoop的电影推荐系统源码.zip
07-17
大数据课程课设设计，基于win10，Hadoop2.8.3，python3.6以及MySQL8.0.
基于hadoopp平台的推荐系统
01-22
这是一个基于hadoop平台的推荐系统，里面代码完整，能很好的帮助对推荐系统感兴趣的开发人员和学生，共同学习
实现音乐推荐系统（源代码）
03-01
recommendation_engines.py Recommenders.py 推荐系统.ipynb
基于Hadoop实现Knn算法
08-26
"基于Hadoop实现Knn算法" 基于Hadoop实现Knn算法是将Knn算法与Hadoop结合，以提高算法的效率和可扩展性。Knn算法是一种常用的分类算法，通过计算当前测试数据与训练数据的距离，确定测试数据所属的类别。然而，传统...
音乐排行
大生記
10-03 995
http://www.kiss.com.tw/NEW_KISSNET/Music/Hot/index_we.asp
【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验
Duck_Duck_的博客
05-27 2362
目录 一、VMware安装 二、VMwareTools安装 三、更新apt 四、安装配置SSH 五、安装JAVA环境 六、Hadoop安装 七、克隆一台slave 八、修改主机名和测试连通 九、SSH无密码登录Slave 十、配置集群/分布式环境 十一、Hbase的安装与配置 十二、MapReduce与Hbase集成环境 十三、Eclipse安装与配置 十四、音乐...
大数据开发项目--音乐排行榜
最新发布
向之 所欣
02-25 652
环境：windows10，centos7.9，hadoop3.2、hbase2.5.3和zookeeper3.8完全分布式；
基于hadoop大数据的音乐推荐系统
qq_42135426的博客
12-28 4528
基于hadoop大数据的音乐推荐系统
基于Hadoop的学习行为数据云存储平台的设计与实现.docx
11-06
"基于Hadoop的学习行为数据云存储平台的设计与实现" 本文主要探讨了如何利用Hadoop架构设计和实现一个针对学习行为数据的云存储平台，以解决传统存储方式的局限性，提高数据处理效率和安全性。论文详细介绍了Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值