SparkSQL JDBC和JDBCServer区别

最新推荐文章于 2023-08-01 14:22:19 发布

weixin_33717117

最新推荐文章于 2023-08-01 14:22:19 发布

阅读量375

点赞数

文章标签：大数据数据库

原文链接：http://www.cnblogs.com/maxigang/p/10156960.html

版权

注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。

SparkSQL JDBC

SparkSQL可以使用JDBC的方式访问其他数据库，和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。而操作数据库的过程和Spark没什么关系。这个功能优先于使用JDBCRDD。因为它返回一个DataFrame，而DataFrame在SparkSQL中具有更加丰富的API，操作更加简单，由于其具有结构化schema，所以更容易个来自其他的半结构化和结构化数据源的数据进行交互关联。

val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load()

SparkSQL JDBCServer

SparkSQL JDBCServer是Spark提供的一个独立运行的driver，用于在其他应用中执行SparkSQL查询。例如其他的非Spark应用，可能处于数据共享的原因，需要在一个Spark集群上面执行一个SQL操作，它本身和Spark没有什么关系，也不需要安装Spark运行环境，只是通过Spark提供的JDBC接口（不同于上面说的接口）将SQL命令下发到SparkSQL，后续的工作就是JDBCServer的事情了。

转载于:https://www.cnblogs.com/maxigang/p/10156960.html