SparkSql——读文件写文件(一)

package spark.SparkSql

import org.apache.spark.sql.SparkSession

object SparkSql2 {
  def main(args: Array[String]): Unit = {
    //创建sqlSession
    val spark = SparkSession.builder().master("local[3]").appName("aa").getOrCreate()
    import spark.implicits._

  //读文件
    //不指定文件的类型
//    val userDs = spark.read.load("D://softwares//spark-2.1.1-bin-hadoop2.7//examples//src//main//resources/users.parquet")
    //指定读文件的类型，读文件的类型必须跟要读取的文件类型一直，要不会乱码
//    val userDs1 = spark.read.format("parquet").load("D://softwares//spark-2.1.1-bin-hadoop2.7//examples//src//main//resources/users.parquet")
  //写文件不指定类型是.parquet的文件
//    userDs.write.save("D://softwares//test")
    //指定存储的类型
//    userDs1.write.format("json").save("D://softwares//test1")
    //指定表里面是否有表头
//    val userDS = spark.read.format("csv")
//                .option("header","true")//把第一行当成表头schema
//                 .load("D://softwares/test.csv")
    //show里面能写数字代表显示多少行，默认20行

    //用sql语句直接读取文件 select * from 文件类型.`文件的路径`************注意是飘符号，esc符号下面的***********
    val userSql = spark.sql("select * from csv.`D://softwares/test1.csv`").show()







  }
}