Spark性能之路

lucklilili

已于 2024-08-08 14:01:57 修改

阅读量300

点赞数

分类专栏： Apache Spark 文章标签： spark 大数据分布式

于 2022-12-04 10:23:56 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/lucklilili/article/details/128169679

版权

Apache Spark 专栏收录该内容

31 篇文章 3 订阅

订阅专栏

简介：整理⼈李亚鹏，希望帮助大家对Apache spark、Jindo spark使用、调优有所帮助。

《Spark 调优攻略上册》是整合互联⽹优质的Blog与PPT形成的攻略，它主要对于企业级⼤规模数据计算引擎Spark多维度优化策略。本次整理不单单是Apache spark还涵盖了Data Lake和阿⾥云EMR智能团队研发的Jindo-Spark是如何基于Apache spark进⾏多维优化及实现原理，让读者能够知其然且知其所以然。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

lucklilili CSDN认证博客专家 CSDN认证企业博客

码龄7年

83: 原创

6万+: 周排名

60万+: 总排名

13万+: 访问

: 等级

972: 积分

459: 粉丝

70: 获赞

14: 评论

115: 收藏

私信

关注

热门文章

分类专栏

最新评论

Spark优化篇：数据倾斜解决
二狗他毛叔: # coding:utf8 from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession from operator import add from SparkConf import PysparkConf # 通过传入表名和列明查询该表中10%的数据中该列出现次数最多的字符串 class SempKey(object): spark = PysparkConf().Pyconf("sampleTopKey",20) def sampleTopKey(self,tablename, keyColumn): ''' :param tablename: 查询的表名 :param keyColumn: 查询关联键的列明 :return: 前10个大key及其出现在10%数据中的频次 ''' strs = "select " + keyColumn + " from " + tablename + ";" print("=======执行分析表"+tablename+"中"+keyColumn+"字段中频率最高的20个key"+"===========") df = self.spark.sql(strs) max20_df = df.select(keyColumn).sample(0.1).rdd.map(lambda x: (x, 1)) \ .reduceByKey(add) \ .map(lambda x: (x[1], x[0])) \ .sortByKey(ascending=False) \ .take(10) return max20_df
Spark优化篇：数据倾斜解决
天空满是数据: 大佬，可以补充python的代码吗
Spark优化篇：数据倾斜解决
lucklilili: 可以，尝试着解读以下代码： def randomPrefixUDF( value: Int, num: Int ): String = { new Random().nextInt(num).toString + "_" + value } def removeRandomPrefixUDF( value: String ): String = { value.toString.split("_")(1) }
Spark优化篇：数据倾斜解决
qqMrrz: 您回答的太深奥了，可以帮忙举个例子吗，
Spark优化篇：数据倾斜解决
lucklilili: 只控制散列度和位数即可。

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。