JAVA hbase groupby_Spark 读取Hbase表数据并实现类似groupByKey操作

最新推荐文章于 2022-04-26 13:33:23 发布
最新推荐文章于 2022-04-26 13:33:23 发布
阅读量152 收藏
点赞数
文章标签： JAVA hbase groupby
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42188533/article/details/114567061
版权

一、概述程序运行环境很重要，本次测试基于：hadoop-2.6.5spark-1.6.2hbase-1.2.4zookeeper-3.4.6jdk-1.8废话不多说了，直接上需求

Andy column=baseINFO:age,value=21

Andy column=baseINFO:gender,value=0

Andy column=baseINFO:telphone_number,value=110110110

Tom  column=baseINFO:age,value=18

Tom  column=baseINFO:gender,value=1

Tom  column=baseINFO:telphone_number,value=120120120

如上表所示，将之用spark进行分组，达到这样的效果：

[Andy,(21,0,110110110)]

[Tom,(18,1,120120120)]

需求比较简单，主要是熟悉一下程序运行过程

二、具体代码

package com.union.bigdata.spark.hbase;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.mapreduce.TableSplit;import org.apache.hadoop.hbase.util.Base64;import org.apache.hadoop.hbase.util.Bytes;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.SparkConf;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.client.Scan;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.ImmutableBytes

最低0.47元/天 解锁文章
魔屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JAVA hbase groupby_《HBase原理与实战》-HBase概述
weixin_31437055的博客
02-24 321
一、HBase逻辑视图视图术语解释table表，一个表包含多行数据。row行，一行数据包含：一个唯一标识rowkey、多个column及对应的value。(一张表中所有row都按roweky的字典顺序由小到大排序)column列，hbase中的列由列族(column family，cf)和列名(qualifier)组成，格式：cf:qualifier。(cf下可以设置任意多个qualifier，理...
JAVA hbase groupby_window操作和groupBy操作
weixin_39618169的博客
02-24 168
window操作import spark.implicits._val words = ... // streaming DataFrame of schema { timestamp: Timestamp, word: String }// Group the data by window and word and compute the count of each groupval windo...
Spark 读取Hbase表数据并实现类似groupByKey操作
weixin_34007906的博客
12-13 303
一、概述程序运行环境很重要，本次测试基于：hadoop-2.6.5spark-1.6.2hbase-1.2.4zookeeper-3.4.6jdk-1.8废话不多说了，直接上需求Andy column=baseINFO:age, value=21Andy column=baseINFO:gender, value=0 Andy column=baseINFO...
JAVA hbase groupby_Elasticsearch JAVA api轻松搞定groupBy聚合
weixin_36003005的博客
02-24 368
本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。为了简单起见，只给出一级groupby即group by field1(而不涉及到多级，例如group by field1, field2, ...)；如果你需要多级的groupby，在实现上可能需要拆分的更加细致。即将给出的方法，适用于如下的场景：场景1：找出分组中的所有桶，例如，select gro...
java hbase group by_HBase数据操作
weixin_28942523的博客
03-02 565
1、 HBase shell操作在命令行中执行hbase shell就进入了hbase shell操作模式，可以通过命令进行一些操作创建表#创建一张表log 包含 log_id log_content 和 remark三个列簇create 'log' , 'log_id' , 'log_content' ,'remark'查看表的描述信息describe 'log'image.png列出所有的表l...
sparksql-for-hbase：了解如何使用Spark SQL和HSpark连接器软件包创建驻留在HBase区域服务器中的查询数据表
02-03
这通常涉及创建一个`HBaseTableCatalog`实例，定义表名、列族和列限定符，然后使用`SparkSession`的`read.format()`方法读取HBase表。 3. **执行SQL查询**：一旦DataFrame被创建，就可以使用Spark SQL的API或直接...
sparksqlCmd_Spark!_spark_
10-04
SparkSQL是Apache Spark项目的一部分，它提供了一个用于处理结构化数据的强大工具，允许开发者使用SQL或者DataFrame API来操作数据。SparkSQL集成了Hive，因此它可以读取和写入Hive表，同时支持多种数据源，如HDFS、...
udacity_spark:火花项目
04-10
例如，通过`reduce()`或`aggregate()`函数实现数据聚合，通过`join()`进行数据合并，通过`groupByKey()`或`groupBy()`进行分组统计。此外，Spark的窗口函数提供了一种处理时间序列数据或需要按时间顺序计算的方法。 ...
Spark 练习题-数据
最新发布
06-26
`groupByKey`、`reduceByKey`和`aggregateByKey`用于对键值对数据进行聚合，`groupBy`和`pivot`则用于数据分组和透视表操作。 7. **窗口函数** Spark SQL中的窗口函数允许你在特定的数据窗口上执行聚合操作，如...
Spark SQL操作大全.zip
03-24
- **DataFrame操作**：包括选择列（select）、过滤（filter）、分组（groupBy）、聚合（agg）等。 4. **连接数据源** Spark SQL可以连接多种数据源，如HDFS、Amazon S3、Cassandra等。通过`SparkSession.read....
spark读取hbase数据，并使用spark sql保存到mysql
03-22
使用spark读取hbase中的数据，并插入到mysql中
JAVA hbase groupby_hbase手动compact与split
weixin_42548708的博客
02-24 108
#!/bin/bashdie(){echo>&2"$@"echo"usage:"echo"$0check|splittable_name[split_size]"exit1}[["$#"-lt2]]&&die"atleast2argumentsrequired,$#provided"COMMAND=$1TAB...
大数据分析 Hadoop实现基于sort的groupby
weixin_44542349的博客
04-27 434
大数据分析 Hadoop实现基于sort的groupby #题目要求 #代码实现 1.hdfs输入 2.处理输入命令行，注意程序会自动删除逗号。利用命令行取得的数组大小来判断需要输出的统计结果 3从hdfs读取文件内容，进行排序（自定义结构体，并定义sort的比较方式）；使用了类的继承 4.遍历计算groupby的总数，平均数，最大值，注意循环的最后一个结果需要单独获取，因为循环体内判断了最后一...
JAVA hbase groupby,如何使用hbase协处理器来实现groupby？
weixin_39563722的博客
02-24 247
Recently I learned hbase coprocessor, I used endpoint to accumulate one column of hbase table.For example, the hbase table named "pendings",its family is "asset", I accumulate all the value of "asset:...
从HDFS中读文件，进行Hash based groupby处理，再写入Hbase（任务总结）
weixin_40641725的博客
03-27 1159
大数据系统的任务要求，从HDFS中读文件，进行Hash based groupby处理，再写入Hbase。 首先要仔细学会使用docker，菜鸟教学上对docker的教程很快就可以入门，该任务的环境已经在docker中配置好，要了解什么是镜像，什么是容器，如何下载镜像，如何通过镜像打开一个容器。熟悉一些docker指令。 当学会了用docker的简单功能之后，就可以开始have fun了！ ...
从HDFS读文件，基于sort进行groupby，然后存进Hbase
csdn_muxin的博客
08-20 210
国科大陈老师大数据课程第一次作业。 从命令行找出待操作列： 输入格式固定，使用String.contains()方法判断当前命令行的种类，然后取出需要的字符串部分。 注意，avg和max可能有多列（老师说的，我也不知道真假），同时列数可能非个位数 String filePath = ""; int rowKey = 0; // create array to save the operational column String[] co
spark读取hbase表数据到elasticsearch
siwangxiaoxuesheng的博客
04-26 2384
代码 package com.zhonghong.mission.hbasetoes import java.text.SimpleDateFormat import java.util.Date import com.alibaba.fastjson.JSONObject import org.apache.commons.lang.StringUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbas
hbase+dataframe+java_Java实现Spark将DataFrame写入到HBase
weixin_35881620的博客
02-28 112
需要的包：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;impo...
使用spark写一个酒店推荐系统，数据从Hbase中读取
05-10
好的，首先需要明确一下酒店推荐系统的具体需求和算法模型。在此假设推荐系统采用协同过滤算法，即根据用户历史行为和其他用户的行为数据，推荐给用户可能感兴趣的酒店。 接下来，我们可以按照以下步骤来实现： 1. 从Hbase中读取酒店和用户行为数据，使用Spark SQL进行数据清洗和预处理。 2. 使用协同过滤算法，计算用户之间的相似度，得到用户相似度矩阵。 3. 对于每个用户，根据相似度矩阵和用户历史行为，推荐可能感兴趣的酒店列表。 4. 将推荐结果存储到Hbase中，以备后续查询。 以下是一份简单的代码示例： ```python from pyspark.sql import SparkSession # 创建SparkSession对象 spark = SparkSession.builder.appName("HotelRecommendationSystem").getOrCreate() # 从Hbase中读取酒店和用户行为数据 hotel_data = spark.read.format("org.apache.hadoop.hbase.spark") \ .option("hbase.table", "hotel_table") \ .option("hbase.columns.mapping", "hotel_id STRING :key, hotel_name STRING info:hotel_name") \ .load() user_data = spark.read.format("org.apache.hadoop.hbase.spark") \ .option("hbase.table", "user_table") \ .option("hbase.columns.mapping", "user_id STRING :key, hotel_id STRING info:hotel_id") \ .load() # 数据清洗和预处理 hotel_data = hotel_data.selectExpr("hotel_id", "hotel_name") user_data = user_data.groupBy("user_id").agg(collect_list("hotel_id").alias("hotel_ids")) # 使用协同过滤算法，计算用户相似度矩阵 user_similarity = ... # 对于每个用户，根据相似度矩阵和用户历史行为，推荐可能感兴趣的酒店列表 user_recommendations = ... # 将推荐结果存储到Hbase中 user_recommendations.write.format("org.apache.hadoop.hbase.spark") \ .option("hbase.table", "recommendation_table") \ .option("hbase.columns.mapping", "user_id STRING :key, hotel_ids STRING info:hotel_ids") \ .save() # 关闭SparkSession对象 spark.stop() ``` 需要注意的是，上述代码中的`user_similarity`和`user_recommendations`需要根据具体的算法模型进行实现。另外，还需要根据实际情况进行调整，如更改Hbase表的名称和列族，以及更改数据预处理和推荐算法的参数等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值