Scala中DataFrame查询，合并多列（使用数组列表等不定列查询）

最新推荐文章于 2022-01-07 18:29:38 发布

Blue Wave

最新推荐文章于 2022-01-07 18:29:38 发布

阅读量2.4k

点赞数 2

分类专栏： spark Scala

本文链接：https://blog.csdn.net/You_are_my_Mr_Right/article/details/106253881

版权

本文介绍了在Scala中使用DataFrame进行多列操作的方法，包括通过数组或列表选择特定列、合并多个指定列以及删除不需要的列。示例代码展示了如何实现这些功能。

摘要由CSDN通过智能技术生成

1.通过数组，列表select()方法

2.合并表中部分指定多列

3.删除多列

没啥好说，代码如下：

object Demo {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Demo").setMaster("local")
    val sparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    sparkSession.sparkContext.setLogLevel("ERROR")
    val frame = sparkSession.read
      .option("header", value = true)
      .option("delimiter", "\t")
      .option("inferschema", value = true)
      .csv("coupon_test_data.tsv")
    //需要查询的列名集合
    val names = frame.schema.fieldNames
    import org.apache.spark.sql.functions.col
    //直接查询所有集合列元素
    frame.select(names.map(key => col(key)): _*).show(5)
    val newCols = Array("user_id", "site_id")
    //合并所有user_id,site_id列生成一个新列（newColumn），每个元