sparkSQL----读取csv格式创建DataFrame

最新推荐文章于 2022-09-20 19:05:00 发布

Genebrother

最新推荐文章于 2022-09-20 19:05:00 发布

阅读量830

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/weixin_38638777/article/details/118437377

版权

SparkSession DataFrame CSV读取 SQL查询 Apache Spark

关键词由CSDN通过智能技术生成

spark 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

package sparksql.day01

import org.apache.spark.sql.SparkSession

object scvSQL {
  def main(args: Array[String]): Unit = {
    val session = SparkSession.builder()
      .master("local[*]")
      .appName("dataframe")
      .getOrCreate()
//不需要创建RDD
    val df = session
      .read
      .option("header","true")//第一行当表头
      .option("inferSchema","true")//解析
      .csv("user.csv")
    df.createTempView("tb")
    session.sql("select * from tb ")
    session.stop()
  }
}