[转]SparkSQL中DataFrame的getAs和getString函数解析

最新推荐文章于 2023-07-06 17:29:00 发布

楓尘林间

最新推荐文章于 2023-07-06 17:29:00 发布

阅读量1.3k

点赞数

分类专栏： Scala Spark SQL

原文链接：https://blog.csdn.net/qq_38258720/article/details/108271970

版权

Spark 同时被 3 个专栏收录

96 篇文章 1 订阅

订阅专栏

Scala

56 篇文章 4 订阅

订阅专栏

SQL

24 篇文章 0 订阅

订阅专栏

JSON数据

{"name":"Michael","age":10, "adress": "beijin"}
{"name":"Andy", "age":30, "adress": "beijin"}
{"name":"Justin", "age":19, "adress": "beijin"}

getAs函数

peopleDF.map(x => x.getAs[String]("adress")).show()

//运行结果
+------+
| value|
+------+
|beijin|
|beijin|
|beijin|
+------+

//函数源码
def getAs[T](fieldName: String): T = getAs[T](fieldIndex(fieldName))

//返回fieldIndex值，类型为Int

def fieldIndex(name: String): Int = {
    throw new UnsupportedOperationException("fieldIndex on a Row without schema is undefined.")
  }
  
//上述函数返回的fieldIndex，将获得的列的类型强制转换为T的类型
def getAs[T](i: Int): T = get(i).asInstanceOf[T]

def get(i: Int): Any

getString函数

peopleDF.map(x => x.getString(0)).show()

//运行结果
+------+
| value|
+------+
|beijin|
|beijin|
|beijin|
+------+

//函数源码，可见与getAs函数的底层一模一样，只不过将泛型T变成了String
def getString(i: Int): String = getAs[String](i)

从上面两个函数得出的运行结果相同，可以得出结论，JSON中的字段转化为DataFrame后的fieldIndex，是从右向左的，"adress"的fieldIndex为0，"age"的fieldIndex为1，"name"的fieldIndex为2。

原文链接：https://blog.csdn.net/qq_38258720/article/details/108271970