Spark Relational Cache实现亚秒级响应的交互式分析

最新推荐文章于 2024-07-16 23:47:57 发布

lucklilili

最新推荐文章于 2024-07-16 23:47:57 发布

阅读量609

点赞数

分类专栏： Apache Spark 文章标签： spark

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/lucklilili/article/details/127898569

版权

Apache Spark 专栏收录该内容

31 篇文章 3 订阅

订阅专栏

《Spark Relational Cache实现亚秒级响应的交互式分析》Apache Spark被广泛用于超大规模的数据分析处理，在交互式分析等时间敏感的场景中，超大规模数据量的处理时间可能无法满足用户快速响应的需求。通过数据的预组织和预计算，将频繁访问的数据和计算提前执行并保存在Relational Cache中，优化后续特定模式的查询，可以显著提高查询速度，实现亚秒级的响应。本议题主要介绍Spark Relational Cache的实现原理和使用场景。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Spark Relational Cache实现亚秒级响应的交互式分析

Spark Relational Cache实现亚秒级响应的交互式分析
复制链接

扫一扫

专栏目录

lucklilili CSDN认证博客专家 CSDN认证企业博客

码龄7年

83: 原创

6万+: 周排名

70万+: 总排名

13万+: 访问

: 等级

971: 积分

459: 粉丝

70: 获赞

14: 评论

114: 收藏

私信

关注

热门文章

分类专栏

最新评论

Spark优化篇：数据倾斜解决
二狗他毛叔: # coding:utf8 from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession from operator import add from SparkConf import PysparkConf # 通过传入表名和列明查询该表中10%的数据中该列出现次数最多的字符串 class SempKey(object): spark = PysparkConf().Pyconf("sampleTopKey",20) def sampleTopKey(self,tablename, keyColumn): ''' :param tablename: 查询的表名 :param keyColumn: 查询关联键的列明 :return: 前10个大key及其出现在10%数据中的频次 ''' strs = "select " + keyColumn + " from " + tablename + ";" print("=======执行分析表"+tablename+"中"+keyColumn+"字段中频率最高的20个key"+"===========") df = self.spark.sql(strs) max20_df = df.select(keyColumn).sample(0.1).rdd.map(lambda x: (x, 1)) \ .reduceByKey(add) \ .map(lambda x: (x[1], x[0])) \ .sortByKey(ascending=False) \ .take(10) return max20_df
Spark优化篇：数据倾斜解决
天空满是数据: 大佬，可以补充python的代码吗
Spark优化篇：数据倾斜解决
lucklilili: 可以，尝试着解读以下代码： def randomPrefixUDF( value: Int, num: Int ): String = { new Random().nextInt(num).toString + "_" + value } def removeRandomPrefixUDF( value: String ): String = { value.toString.split("_")(1) }
Spark优化篇：数据倾斜解决
qqMrrz: 您回答的太深奥了，可以帮忙举个例子吗，
Spark优化篇：数据倾斜解决
lucklilili: 只控制散列度和位数即可。

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。