Spark
我叫龙翔天翼
广告,推荐,AI算法,hive, spark
展开
-
Spark Debug
报错:大数据量没问题,小数据量报错java.io.EOFException: Premature EOF: no length prefix availableat org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2326)at org.apache.hadoop.hdfs.protocol.data...原创 2019-05-25 14:41:51 · 1350 阅读 · 1 评论 -
Spark中的UDAF简介及其Stage task
Spark中的UDAF简介及其Stageudaf操作会分为两个stage:partial_merge: 本地进行merge,是一种窄依赖。tasks数量取决于上一步的partitions。merge:不同partition的数据进行merge,是一种宽依赖,需要shuffle,因此tasks数量取决于设置的值spark.default.parallelismclass ...原创 2019-08-09 20:14:59 · 316 阅读 · 0 评论