1、spark处理json格式文件:
spark2.0之后可以直接使用sparksession创建appname与master
创建后使用format(“json”).load(“path”)方式即可得到json文件的dataframe
val spark=SparkSession.builder().appName(“DataFrameApi”).master(“local”).getOrCreate()
val jDF=spark.read.format(“json”).load(“f://scala.json”)
2、spark处理CSV文件:
第一种方式:处理CSV文件就必须创建一个schema,然后在dataframe中添加上schema,并添加上CSV的完整路径,才不会出现Multiple sources found for csv错误
val spark=SparkSession.builder().appName(“DataFrameApi”).master(“local”).getOrCreate()
//schema创建方式:
val fieldSchema = StructType(Array(
StructField(“name”, StringType, true),
StructField(“age”, StringType, true),
StructField(“class”, StringType, true)
))
val cDF=spark.read
.format(“org.apache.spark.sql.execution.datasources.csv.CSVFileFormat”)
.option(“header”,“true”).schema(fieldSchema).load(“f://test2.csv”)
此时就能使用cDF处理CSV文件的数据
第二种方式:不用创建schema,直接使用toDF()转化
val cDF=spark.read
.format(“org.apache.spark.sql.execution.datasources.csv.CSVFileFormat”)
.option(“header”,“true”).load(“f://test2.csv”).toDF()
这里添加一个异常:
org.apache.spark.sql.AnalysisException: resolved attribute(s)
此异常是因为两个dataframe之间join出现错误,查看一下处理数据的过程,两个dataframe间的join语句问题
spark处理CSV与json格式文件
最新推荐文章于 2024-02-21 21:11:30 发布