spark删除mysql记录_在spark中操作mysql数据 ---- spark学习之七

使用spark的 DataFrame 来操作mysql数据。

DataFrame是比RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：

https://spark.apache.org/docs/latest/sql-programming-guide.html

这里暂时使用spark-shell进行操作，

1.首先，必须要先下载一个mysql的jdbc的驱动

可以从这里下载

2.然后呢，就好办了。

#具体的启动spark-shell的方法(带上mysql的driver)

$~/spark-shell --driver-class-path /path-to-mysql-jar/mysql-connector-java-5.1.34-bin.jar

#定义mysql的信息

val url="jdbc:mysql://10.181.176.226:3306/geo_info"val prop=new java.util.Properties

prop.setProperty("user","geo")

prop.setProperty("password","xxxxxx”)

#指定读取条件,这里 Array("country_code='CN'") 是where过滤条件

val cnFlight= sqlContext.read.jdbc(url,"gps_location",Array("country_code='CN'"),prop)

#然后进行groupby 操作,获取数据集合

val emailList= cnF