package com.bjsxt;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;
public class CreateDFFromParquet {
public static void main(String[] args) {
SparkConf conf=new SparkConf().setAppName("test").setMaster("local");
JavaSparkContext sc=new JavaSparkContext(conf);
SQLContext sqlContext=new SQLContext(sc);
DataFrame df = sqlContext.read().format("json").load("./json");
df.show();
/**
* 将DataFrame保存成parquent文件
* SaveMode指定存储文件时的保存模式
* OverWrite:覆盖
* Append:追加
* ErrorIfExist:如果存在就报错
* Ignore:如果存在就忽略
* 保存成parquent文件有以下两种方式
*/<