- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark数据倾斜
数据倾斜的表现：1、spark大部分task都执行迅速，只有有限的几个task执行的非常慢。2、spark作业大部分task都执行迅速，有的task在运行过程中突然报OOM。定位数据倾斜的问题：1、查阅代码中的shuffle算子，如reduceBykey、countByKey、join等算子，根据代码逻辑判断此处是否出现数据倾斜。2、查看spark作业的log日志，log文件对于错误的记录会精确到某一行，可以根据异常定位到代码位置来明确错误发生在第几个stage，对于的shuffle算子是哪一个。
2020-12-17 11:21:21
99
原创 Spark性能调优
1.1 常规性能调优1.1.1 最优资源配置性能调优的第一步应该是为任务分配更多的资源，在一定范围内，增加资源与提升性能成正比。spark提交任务的脚本示例./spark-submit \--master yarn-cluster--class com.dtyunxi.spark.WordCount \--num-executors 80--executor-cores 4--executor-memory 8g--driver-memory 8g--queue root.defau
2020-12-16 21:27:55
139
原创 scala数据类型
scala数据类型整数类型Byte（1）自动提升原则：有多种类型的数据混合运算时，系统首先自动将所有数据转换成精度大的那种数据类型，然后再进行计算。（2）把精度大的数值类型赋值给精度小的数值类型时，就会报错，反之就会进行自动类型转换。（3）（byte，short）和char之间不会相互自动转换。（4）byte，short，char他们三者可以计算，在计算时首先转换为int类型。ShortIntScala程序中变量常声明为Int型，除非不足以表示大数，才使用LongLongScala的整
2020-12-15 18:42:32
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人