spark map函数中数组转元祖(Row)以及schema信息转DF

package com.lenovo.ftp

import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.types.{StringType, StructField, StructType}

import scala.collection.mutable.ListBuffer

class SparkMapArrayToDF {
  def main(args: Array[String]): Unit = {
    val ss = SparkSession
      .builder()
      .appName("SparkMapArrayToDF")
      .master("local")
      //.config("spark.sql.warehouse.dir", "file:///D://lenovo_pj//cpp//cpp")
      //.enableHiveSupport()
      .getOrCreate()

    val arr = Array("aa/bb/cc/dd/ee","mm/dd/nn/ff/hh")
    val str = "record_date/client/langu/district/description"

    val columnArr = str.toString.split("/")
    var structFieldList = new ListBuffer[StructField]()
    for(i <- 0 until columnArr.length){
      structFieldList += StructField(columnArr(i),StringType,true)
    }
    val schema = StructType(structFieldList)

    val values = ss.sparkContext
      .parallelize(arr)
      .map(row => {
        var arr = row.split("/")
        Row.fromSeq(arr.toSeq)
      })
    ss.createDataFrame(values,schema)
      .createOrReplaceTempView("test")
  }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不会飞的乌龟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值