spark处理CSV与json格式文件

1、spark处理json格式文件：
spark2.0之后可以直接使用sparksession创建appname与master
创建后使用format（“json”）.load（“path”）方式即可得到json文件的dataframe
val spark=SparkSession.builder().appName(“DataFrameApi”).master(“local”).getOrCreate()
val jDF=spark.read.format(“json”).load(“f://scala.json”)
2、spark处理CSV文件：
第一种方式：处理CSV文件就必须创建一个schema，然后在dataframe中添加上schema，并添加上CSV的完整路径，才不会出现Multiple sources found for csv错误
val spark=SparkSession.builder().appName(“DataFrameApi”).master(“local”).getOrCreate()
//schema创建方式：
val fieldSchema = StructType(Array(
StructField(“name”, StringType, true),
StructField(“age”, StringType, true),
StructField(“class”, StringType, true)
))
val cDF=spark.read
.format(“org.apache.spark.sql.execution.datasources.csv.CSVFileFormat”)
.option(“header”,“true”).schema(fieldSchema).load(“f://test2.csv”)
此时就能使用cDF处理CSV文件的数据
第二种方式：不用创建schema，直接使用toDF()转化
val cDF=spark.read
.format(“org.apache.spark.sql.execution.datasources.csv.CSVFileFormat”)
.option(“header”,“true”).load(“f://test2.csv”).toDF()
这里添加一个异常：
org.apache.spark.sql.AnalysisException: resolved attribute(s)
此异常是因为两个dataframe之间join出现错误，查看一下处理数据的过程，两个dataframe间的join语句问题