从csv文件创建dataFrame

最新推荐文章于 2024-08-07 19:38:10 发布

kopunk

最新推荐文章于 2024-08-07 19:38:10 发布

阅读量2.0k

点赞数 1

分类专栏：大数据学习

本文链接：https://blog.csdn.net/kopunk/article/details/96770619

版权

大数据学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

读取CSV文件创建dataFrame的写法：

val df1 = spark.read
      .format("csv")
      .option("header","true")
      .option("inferSchema","true")
      .load("src/test/resource/1.csv")

完整写法：

import org.apache.spark.{SparkConf,SparkContext}
import org.apache.spark.sql.SparkSession

object readDataFrame {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("readDataFrame")
    val sc = new SparkContext(conf)

    val spark = SparkSession.builder().appName("readDF").getOrCreate()

    val df = spark.read.format("csv").option("header",true).load("src/test/resource/1.csv")
    df.printSchema()
    df.show()

  }
}