package spark.SparkSql
import org.apache.spark.sql.SparkSession
object SparkSql2 {
def main(args: Array[String]): Unit = {
//创建sqlSession
val spark = SparkSession.builder().master("local[3]").appName("aa").getOrCreate()
import spark.implicits._
//读文件
//不指定文件的类型
// val userDs = spark.read.load("D://softwares//spark-2.1.1-bin-hadoop2.7//examples//src//main//resources/users.parquet")
//指定读文件的类型,读文件的类型必须跟要读取的文件类型一直,要不会乱码
// val userDs1 = spark.read.format("parquet").load("D://softwares//spark-2.1.1-bin-hadoop2.7//examples//src//main//resources/users.parquet")
//写文件不指定类型是.parquet的文件
// userDs.write.save("D://softwares//test")
//指定存储的类型
// userDs1.write.format("json").save("D://softwares//test1")
//指定表里面是否有表头
// val userDS = spark.read.format("csv")
// .option("header","true")//把第一行当成表头schema
// .load("D://softwares/test.csv")
//show里面能写数字代表显示多少行,默认20行
//用sql语句直接读取文件 select * from 文件类型.`文件的路径`************注意是飘符号,esc符号下面的***********
val userSql = spark.sql("select * from csv.`D://softwares/test1.csv`").show()
}
}
SparkSql——读文件写文件(一)
最新推荐文章于 2024-03-18 10:28:01 发布