Spark读取kudu,将Row类型Rdd转成其它类型

import org.apache.kudu.spark.kudu.KuduContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

import scala.collection.mutable.ArrayBuffer

object Spark_kudu {

  val kuduMasters = "192.168.1.102:7051"
  val tableName = "people"

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    val option = Map("kudu.master" -> kuduMasters, "kudu.table" -> tableName)
    val spark = SparkSession.builder().appName("KuduApp").master("local[*]").config(conf).getOrCreate()
 
    val kc = new KuduContext(kuduMasters, spark.sparkContext)
    val buffer: ArrayBuffer[String] = ArrayBuffer()
    val peerinfoDF = spark.read.options(option).format("kudu")
      .load().select("id", "gender","name")
      .where("gender = 1")
      .rdd
      .map(row=>{
        row.getAs[String]("id")   //将本来获取到的Row类型转成了String类型
        row.getAs[Int]("gender")  //将本来获取到的Row类型转成了int类型
        row.getAs("name")       //没有指定获取的类型,所以得到Row类型
      }).collect()

    spark.close()
  }
}

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值