- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 scala fold系列函数及 sparkRDD fold 操作解析
scala 的fold系列 函数用起来比较方便，这里对比总结一下。foldfold 的定义：def fold[A1 >: A](z: A1)(op: (A1, A1) => A1): A1foldLeftfoldLeft 的定义：def foldLeft[B](z: B)(op: (B, A) => B): BfoldRightfold
2014-12-19 11:48:02
7078
原创 spark sql udf 解析json数据表的嵌套数组
使用spark sql 的时候，加载json数据作为表的基础数据。发现其中的json数据中有些字段对应的是一个嵌套数组：{“schema1”:"hello"，“schema2” : [ {"a":1"，"b":"11"}, {“a”:"2","b":"22"}…… ]将json数据加载到spark sql 中：val sqlContext = new org.apache.spark.
2014-12-15 19:03:00
7136
Data Science for Business
2016-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人