sparksql的两种创建方法和DateFrame和数据库直接的简单交互

1.通过创建SparkSession对象，创建完之后你可以直接读取文件返回的是一个Dataset[String] 对象 DataSet对象可以直接转成DataFrame格式,这个类似于python的DataFrame格式,如何就可以自己指定字段,如果不指定字段就回默认只有一个字段 Value，创建完表之后就可以直接进行增删改查了

 val spark = SparkSession
      .builder()
      .appName("Spark SQL basic example")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._
    //这里其实就是看返回值 这里是返回的直接就是Dataset[String]
    val ipLinesDataset=spark.read.textFile("data/ip.txt")
    val ipDataset=ipLinesDataset.map( line=>{
      val filds=line.split("\\|")
      val startNum=filds(2).toLong
      val endNum=filds(3).toLong
      val province=filds(6)
      (startNum,endNum,province)
    })
    val ipDataFrame=ipDataset.toDF("startNum","endNum","province")
    ipDataFrame.createTempView("v_ip")//创建临时视图 就相当于表
    spark.sql("select *from v_id")//操作sql语句

2.第二种就是通过SQLContext(sc:SparkConf)来获取,这个主要也是要看sc.textFile("")读取返回的是什么类型，这种返回的类型是 RDD[String] 要转成DataFrame格式就要借助与 SQLContext的createDataFrame(rowRDD: RDD[Row], schema: StructType)这个方法

    val conf=new SparkConf().setAppName("spark").setMaster("local[*]")
    val sc=new SparkContext(conf)
    //创建SQLContext对象
    val sqlContext=new SQLContext(sc)
    //以前读取txt一行一行的数据
   val lines= sc.textFile("data/person.txt")
    //map 转换一下类型
   val PersonRDD= lines.map( line=>{
      val fileds=line.split(",")
      val id=fileds(0).toInt
      val name=fileds(1)
      val age=fileds(2).toInt
      val high=fileds(3).toDouble
      //转成一个对象
     Row(id,name,age,high)
    })
    //如何将rdd转换成DataFrame schema
    val schema=StructType(List(
      StructField("id",IntegerType,true),
      StructField("name",StringType,true),
      StructField("age",IntegerType,true),
      StructField("heigh",DoubleType,true)
    ))
    //如何将其绑定
    val df=sqlContext.createDataFrame(PersonRDD,schema)
    df.createTempView("v_ip")//创建临时视图 就相当于表
    spark.sql("select *from v_id")//操作sql语句

这里有必要提一下DataFrame这个方法提供来十分方便读取数据库和写入数据库的函数 下面也给各位看一下如何简单的写入到数据库，第一个参数是数据库的链接,第二个参数是指定表名,第三个参数是连接数据库必要的属性

val properties=new Properties()
    properties.put("user","root")
    properties.put("password","a")
 logImp.write.mode(SaveMode.Append).jdbc("jdbc:mysql://node1:3306/log_analysis","important_logs",properties)