前言
spark中因为Rdd和Dataframe的一些封装函数处理,经常会遇到类型的相关转换,今天就记录些常见的几种类型转换。
Array => Row
val arr = Array("aa/2/cc/10","xx/3/nn/30","xx/3/nn/20")
// val row = Row.fromSeq(arr)
val row = RowFactory.create(arr)
Row => Array
val a:Array[Any] = row.toSeq.toArray
有时候会对数组类型T做限定、比如String之类的。这时就需要中间处理下
val a:Array[String] = row.toSeq.map(m => m.toString).toArray
Tuple => Array
val tuple = ((20201022,5060180989186180L,"[12, 15)"),288556)
tuple.productIterator.toArray
Class => Array
Class对象转数组也可以用上述方法。
// 定义类
case class Person(name:String, age:Int)
Person("test", 1).productIterator.toArray
Array => RDD
val rdd = sparkSession.sparkContext.parallelize(Array(tuple))
RDD => DataFrame
可以通过RDD[Row]
val rdd = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2))).map(row =>Row(row._1, row._2))
// 创建Schema
val schema=StructType(Array(
StructField("name",StringType,true),
StructField("age",IntegerType,true)
))
val df = sparkSession.createDataFrame(rdd,schema)
也可以通过sparkSession.implicits._
隐式转换直接到df。
import sparkSession.implicits._
val df = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2)))
.map(row =>Person(row._1, row._2)).toDF()
DataFrame => RDD
val rdd1 = df.rdd