scala
rookie_bigdata
菜鸟一枚
展开
-
spark sql 开窗函数加条件
需求:如下图 test.csv,dataframe 中每行都需要添加前边跟后边最近的的 SSSSSSS* 记录对应的值。解决方案:无法通过 lead, lag 等方法实现,因为开窗函数选定的数据框无法加上条件思路 - 通过两次 Join 分别找到前后最近的 SSSSSS*记录,代码如下var df = spark.read.option("header", "true").csv("C:\\Users\\XXX\\Desktop\\test.csv") // 读取文件df = df.原创 2021-03-10 15:37:27 · 1086 阅读 · 0 评论 -
idea 运行 scala 报错 object apache is not a member of package org
现象:idea 运行scala项目报错object apache is not a member of package org解决:原创 2020-07-28 17:10:47 · 5016 阅读 · 2 评论 -
idea scala 项目编译报错:Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile
现象:idea scala 项目编译报错:Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile原因:项目里有某些类代码有问题导致通过不了编译。但 idea 不提示哪里有问题。解决:在项目根目录执行mvn clean scala:compile package 后 idea 就会报哪个类哪行代码有问题,修复后再次编译就可以了。...原创 2020-06-11 09:14:27 · 1223 阅读 · 0 评论