Spark
小羊羊成长之路
迟来的博客,但也不算太晚
展开
-
Spark解析Json案例
最近常常和Json打交道,记录一下Spark解析Json案例,数据有点长,在最后面代码用了三种数据结构,就是想看看有什么算子的用法区别,然而其实本质上都是map形式的并没什么区别package comimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.spark.rdd.RDDimport org.apache...原创 2019-12-06 17:27:36 · 933 阅读 · 0 评论 -
Spark Core &Spark SQL & Spark DSL示例
Spark SQL 语法& Spark DSL风格语法示例数据样例需求说明代码数据样例以下为json样例,数据文件为:“JsonTest02.json”{"openid":"opEu45VAwuzCsDr6iGIf4qhnUZUI","phoneNum":"18334832972","money":"30","date":"2018-09-13T02:15:16.054Z","lat...原创 2019-11-12 06:39:06 · 525 阅读 · 0 评论