SQL相关知识

dataframe 和 RDD 的比较

case class Person(name:String,age:Int) 
val rdd = sc.textFile("hdfs://hadoop1:9000/examples/src/main/resources/people.txt").map(line => line.split(",")).map(p => Person(p(0),p(1).trim.yoInt))
//返回了一个RDD，知道返回的对象是什么

val df = sqlContext.read.json("hdfs://hadoop1:9000/examples/src/main/resources/people.json"); 
//返回一个dataframe,知道具体数据类型：属性和名称

而DataSet集合了上述两个优点，在spark2中融合了两个优点。

数据源之数据load和save
spark SQL默认支持的是parquet文件格式：

val df = sqlContext.read.load("");
val df = sqlContext.read.format("parquet").load("");

如果不指定文件格式，默认保存也是parquet格式

df.select("col","cols").write.save("");
df.select("col","cols").write.format("parquet").save("");

保存的模式：

SaveMode.ErrorIfExists (default）：如果文件存在就报错
SaveMode.Append：文件存在则追加
SaveMode.Overwrite：覆盖
SaveMode.Ignore：若文件存在则不保存

数据源之parquet文件操作
Loading Data Programmatically：以编程方式加载parquet文件

Partition Discovery：自动推断分区

hadoop fs -mkdir -p  /data/country=US
cd ../...../resources/
hadoop fs -put users.parquet /daya/country=US
spark-shell
val df2=sqlContext.read.parquet("hdfs://hadoop1:9000/data/country=US/users.parquet");

df2.show()

多了一个分区，自动推断出的

表分区是像Hive这样的系统中常用的优化方法。 在分区表中，数据通常存储在不同的目录中，分区列值在每个分区目录的路径中编码。 现在，Parquet数据源能够自动发现和推断分区信息。
通过将path / to / table传递给SQLContext.read.parquet或SQLContext.read.load，Spark SQL将自动从路径中提取分区信息。
Schema Merging：元数据合并

数据源之json
spark-shell –master yarn –deploy-mode client

两种方法：
1. 加载json数据源创建dataframe
2. 并行化方式模拟json数据源，生产dataframe