SparkSQL 优雅地读取CSV文件[示例]

第一种：Spark2.0之前通过外部包的形式

第一步：导入依赖

<dependency>
	<groupId>com.databricks</groupId>
	<artifactId>spark-csv_2.10</artifactId>
	<version>1.4.0</version>
</dependency>

第二步：代码示例

val linesDF: DataFrame = spark.read.format("com.databricks.spark.csv")//格式化为外部包
	.option("header","true")//第一行舍弃
	.option("inferSchema",false.toString)//不自动推断类型
    .load("E:\\cache\\sparkCache\\20200419\\class_info\\class_info.csv")

第二种：Spark2.0之后通过SparkSession的形式

val data = spark.read.format("csv")//格式化为csv
    .option("header","true")//第一行舍弃
    .load("file:///home/20200419/class_info/class_info.csv")

在文件路径下加"file://” 如果不加，程序会自动搜索hdfs的路径而不是本地路径