scala学习
文章平均质量分 66
枫夜求索阁
毕业于华南农业大学,现就业于凯通科技股份有限公司,为高级软件工程师。主要工作是和大数据相关,熟悉spark、CDH等大数据相关领域技术。
展开
-
问题解决:scala.MatchError: 816356 (of class java.lang.Integer)
问题场景使用spark进行业务统计的时候,统计过程中触发这个问题,并导致程序异常退出问题环境spark 1.6scala 2.10.6jdk 1.7.0_79问题分析首先,先看看问题报错提示的具体代码,如下:hiveContext.createDataFrame(finalList, RowUtil.buildUserMdnSchema())从这里,我们就可以知道,要么是f...原创 2020-02-27 22:01:44 · 6640 阅读 · 0 评论 -
问题解决:spark.debug.maxToStringFields
问题场景使用spark 2.4.0进行统计数据,报错误,错误提示为:WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in S...原创 2019-12-19 11:16:58 · 13388 阅读 · 0 评论 -
idea2017.2 使用scala进行编译报错 问题解决
报错提示Error:scalac: Error: Uninitialized object exists on backward branch 209Exception Details: Location: scala/collection/immutable/HashMap$HashTrieMap.split()Lscala/collection/immutable/Seq; ...原创 2018-07-15 18:18:21 · 2074 阅读 · 1 评论