spark.read.format().option 参数

Thomas2143

于 2019-11-22 11:03:19 发布

阅读量1w

点赞数

分类专栏：总结

本文链接：https://blog.csdn.net/qq_35515661/article/details/103197164

版权

总结专栏收录该内容

791 篇文章 ¥99.90 ¥299.90

订阅专栏

本文探讨了如何使用Spark的`spark.read.format().option()`方法来设置CSV文件的读取选项，特别是`sep`参数用于定义文本分隔符。通过对源码的分析，揭示了如何利用这些选项自定义数据导入过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过idea查看option源码发现没找到点击csv看源码发现会查找option里面的设置: 下面源码中有介绍:

eg:

sep 表示设置文本分隔符...

  def csv(csvDataset: Dataset[String]): DataFrame = {
    val parsedOptions: CSVOptions = new CSVOptions(
      extraOptions.toMap,
      sparkSession.sessionState.conf.sessionLocalTimeZone)
    val filteredLines: Dataset[String] =
      CSVUtils.filterCommentAndEmpty(csvDataset, parsedOptions)
    val maybeFirstLine: Option[String] = filteredLines.take(1).headOption

    val schema = userSpecifiedSchema.getOrElse {
      TextInputCSVDataSource.inferFromDataset(
        sparkSession,
        csvDataset,
        maybeFirstLine,
        parsedOptions)
    }

    verifyColumnNameOfCorruptRecord(schema, parsedOptions.columnNameOfCorruptReco

了解本专栏