scala写入mysql_spark rdd转dataframe 写入mysql的实例讲解

dataframe是在spark1.3.0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能更还快了两倍。spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topic名称和sql语句，后台读取自己配置好的内容字段反射成一个class并利用出入的sql对实时数据进行计算，这种情况下不会spark streaming的人也都可以方便的享受到实时计算带来的好处。

下面的示例为读取本地文件成rdd并隐式转换成dataframe对数据进行查询，最后以追加的形式写入mysql表的过程,scala代码示例如下

import java.sql.Timestamp

import org.apache.spark.sql.{SaveMode, SQLContext}

import org.apache.spark.{SparkContext, SparkConf}

object DataFrameSql {

case class memberbase(data_date:Long,memberid:String,createtime:Timestamp,sp:Int)extends Serializable{

override def toString: String="%d\t%s\t%s\t%d".format(data_date,memberid,createtime,sp)

}

def main(args:Array[String]): Unit ={

val conf = n