spark
化明
人生苦短
展开
-
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 13
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 13原因shuffle分为shuffle write和shuffle read两部分。shuffle write的分区数由上一阶段的RDD分区数控制,shuffle read的分区数则是由Spa...原创 2019-11-05 10:09:08 · 2820 阅读 · 0 评论 -
spark 自定义标准差UDAF
需求是将hive 代码转成spark 代码时 , 需要标准差实现的方式不同 ,hive最后是 /n , spark 的是/n-1 , 因此需要自定义标准差的UDAF , 以下是代码 ,有的判断异常值得情况没做处理 ,可以自行处理 ,因为本人在上游数据源已经做了一次处理,确保了数据的格式不会出现异import org.apache.commons.lang.StringUtils;imp...原创 2019-09-12 10:04:00 · 480 阅读 · 0 评论