大数据统计歌曲的排行榜 ,输出到指定的HBASE数据库中

最新推荐文章于 2024-02-25 18:06:57 发布

不言尘世

最新推荐文章于 2024-02-25 18:06:57 发布

阅读量826

点赞数 2

分类专栏：大数据

本文链接：https://blog.csdn.net/weixin_43599377/article/details/103616922

版权

该项目通过读取Hbase中的数据，提取歌曲点击量并进行统计，然后排序并存储到HDFS。首先，从音乐数据表中获取歌名，处理后存入新的Hbase表。接着，对处理后的数据进行排序，最终结果上传到HDFS。

摘要由CSDN通过智能技术生成

1 项目流程介绍：
1.1 读取Hbase中的数据表，提取需要的字段，进行处理（统计每首歌有多少点击量），再次建表，将处理后的数据填充进去
1.2 2 此时的数据不是排序的，将数据排序后上传到HDFS中去
2 结果演示：
1 原始数据
在这里插入图片描述
2 第一次处理。提取处理需要统计的结果数据，存放在第三方数据表中：namelist中

3 上传到HDFS中去，是排序后的最终结果
在这里插入代码片
3 代码部分：

整个思路：分成了两个部分（job）
job1：读取Hbase中的原始数据表（music4）,提取info列组：name(歌名)
map输出歌名 value 1。存储到namelist中去
job2 :将namelist排序，存储到HDFS中去：
代码如下：

package com.sheng.hbase;

import java.io.IOException;
import java.io.InputStream;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import or