qijingpei的博客

背景：Spark scala代码处理数据。 前言： 请先检查代码，是否遗漏了字段，也就是要解析的字段XXX不存在。如果真的漏了，补上即可，不需要再往下看了。 具体报错日志如下： ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Resolved attribute(s) team_id#51L missing from team_id#479L, … in operator !Join

目标： 想对某几个字段group by，但聚合以后，还想保留不是group by字段里的字段的数据，此时可以将这些数据组合类似于Java等语言中的list也就是列表或者说是数组，然后将这个列表，新建一个字段来存储。这样，group by之后，想要的非group by字段里的数据，也能保存下来了。 步骤： 将多个列组成一个struct（非必须，一般用在要保存多个列的值时） 使用group by聚合时，将struct组合成list（必需的。通过collect_list实现） val input: DataF

Spark 实现 对mysql的insert or update：有则更新，没有则插入 废话不说，直接上代码： （因为是从已近上线的代码里造了个demo出来，线上代码已经在跑了，但这个demo没有测试，如果有遇到错误还请跟我说一下，我好改一下，但是整体思路是这样的。） import java.sql.{Connection, DriverManager, Statement} import java.util.Properties import org.apache.spark.sql.{DataFra

一、Spark 读取 mysql 数据 网上Spark读取mysql数据的资料还是挺多的，这里贴一下我的代码： 新建1个Scala的”Object“ import org.apache.spark.sql.{DataFrame, SparkSession} object CsdnTest { def main(args: Array[String]): Unit = { val ss = SparkSession.builder .appName("Test") .