![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 92
Haven.Liu
龙七
展开
-
Spark技术栈整理
一、当Spark on Hive时,Spark读不到hive的数据。刷新Spark的 缓存:REFRESH TABLE test.dws_d_driver原创 2020-07-28 20:46:27 · 664 阅读 · 0 评论 -
【Spark】|【Spark性能调优】|【设置并行度】|【Spark多配置优先级】|【总结】
一、【关于Spark并行度】1. 什么是Spark的并行度?并行度其实就是指的是spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度2. 官方推荐task的个数?官方推荐,task数量,设置成spark Application 总cpu core数量的2~3倍 。比如:150个cpu core ,基本设置 task数量为 30...原创 2019-09-26 11:40:29 · 1097 阅读 · 0 评论