rdd
靖-Drei
这个作者很懒,什么都没留下…
展开
-
RDD和DataFrame转换(Java+Scala)
一:RDD与DataFrame转换 1. 通过反射的方式来推断RDD元素中的元数据。因为RDD本身一条数据本身是没有元数据的,例如Person,而Person有name,id等,而record是不知道这些的,但是变成DataFrame背后一定知道,通过反射的方式就可以了解到背后这些元数据,进而转换成DataFrame。 如何反射? Scala: 通过case class映射,在case翻译 2016-05-17 17:55:49 · 13529 阅读 · 0 评论 -
RDD与DataFrame动态转换(Java)
在企业中目前应用比较多的就是动态转换。动态的意思:是指提前不知道RDD中的每个record的列的个数,以及列的内容,只有在运行的时候才会知道,Row代表table中的一行数据。 实战代码如下:package com.dt.spark.SparkApps.sql; /** * 打印结果: [1,Spark,7] [2,Hadoop,10] [3,F翻译 2016-05-17 18:01:15 · 1469 阅读 · 1 评论