Spark编程-Spark中的Row

 Spark中的Row

        Spark中的Row是Spark SQL中的一种数据结构，用于表示一行数据。

代码案例

创建Row对象

import org.apache.spark.sql.Row
// 创建一个Row对象，表示一行数据
val row = Row("John", 30, "New York")
// 访问Row对象的字段值
println(row.getString(0))  // 输出：John
println(row.getInt(1))  // 输出：30
println(row.getString(2))  // 输出：New York

  使用Row对象进行数据转换

import org.apache.spark.sql.Row
// 假设有一个RDD，元素为字典形式的数据
val rdd = sc.parallelize(Seq(Map("name" -> "John", "age" -> 30, "city" -> "New York"),
                             Map("name" -> "Alice", "age" -> 25, "city" -> "London")))
// 将RDD中的字典数据转换为Row对象
val row_rdd = rdd.map(x => Row(x("name"), x("age"), x("city")))
// 将Row对象转换为DataFrame
val df = spark.createDataFrame(row_rdd)
// 打印DataFrame中的数据
df.show()

 使用Row对象进行数据聚和

import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._
// 假设有一个DataFrame，包含name和age两列
val df = spark.createDataFrame(Seq(("John", 30), ("Alice", 25), ("Bob", 35))).toDF("name", "age")
// 使用groupBy和agg函数对数据进行聚合
val result = df.groupBy().agg(avg("age"))
// 获取聚合结果的Row对象
val row = result.head()
// 访问Row对象的字段值
println(row.getDouble(0))  // 输出：30.0

使用Row对象进行数据筛选

import org.apache.spark.sql.Row
// 假设有一个DataFrame，包含name和age两列
val df = spark.createDataFrame(Seq(("John", 30), ("Alice", 25), ("Bob", 35))).toDF("name", "age")
// 使用filter函数对数据进行筛选
val filtered_df = df.filter(row => row.getInt(1) > 30)
// 打印筛选后的数据
filtered_df.show()