spark java jdbcrdd_SparkSQL 使用jdbcRDD访问数据库

mysql中有一个数据库为luciusdb，其中有一张表people，有8条数据。

1、如果采用spark-shell来访问数据库，可以像下面那样在启动spark-shell时在命令之前加上“SPARK_CLASSPATH=驱动包”来 导入数据库驱动：

SPARK_CLASSPATH=/opt/spark-1.3.0/lib/mysql-connector-java-5.1.35.jar bin/spark-shell

2、如果采用IDEA， 也需要导入包：

代码如下：

Java Code

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

import

java.sql.DriverManager

import

org.apache.spark.rdd.JdbcRDD

import

org.apache.spark.{SparkContext}

object HiSpark {

def

main (args: Array[

String

]) {

val sc =

new

SparkContext(

"local"

,

"mysql"

)

val rdd =

new

JdbcRDD(

sc,

() => {

Class.forName(

"com.mysql.jdbc.Driver"

).newInstance()

DriverManager.getConnection(

"jdbc:mysql://192.168.70.135:3306/luciusdb"

,

"root"

,

"123456"

)

},

"SELECT * FROM people where id>=? and id <=?"

,

1

,

4

,

2

,

r =>r.getString(

3

) +

" "

+ r.getString(

1

) +

" "

+r.getString(

2

)

)

rdd.foreach(println)

}

}

查到的数据如下：

相关参数说明：

参考网址：

http://www.iteblog.com/archives/1113

http://spark.apache.org/docs/1.3.0/sql-programming-guide.html