spark针对sqlserver_第68课：Spark SQL通过JDBC操作Sql Server

本期内容：

1 Spark SQL操作关系数据库的意义

2 Spark SQL操作关系数据库实战

一：使用Spark通过JDBC操作数据库

1，  Spark SQL可以通过JDBC从传统的关系型数据库中读写数据，读取数据后直接生成的是DataFrame。然后再加上借助于Spark内核的丰富的API来进行各种操作。从计算数据规模的角度去讲，集群并行访问数据库数据；

2，通过format(“jdbc“)的方式说明SparkSQL操作的数据来源是通过JDBC获得，JDBC后端一般都是数据库，例如MySQL、Oracle等；

3，通过DataFrameReader的optition方法把要访问数据库的信息传递进去：

url：代表数据库的jdbc链接地址；

dbtable：具体要链接那个数据库；

driver：Driver部分是Spark SQL访问数据库的具体的驱动的完整包名和类名

4，关于JDBC的驱动的Jar，可以放在Spark的library目录，也可以在使用Spark Submit的使用指定具体的Jar(编码和打包的时候都不需要这个JDBC的Jar)；

5，在实际的企业级开发环境中，如果数据中数据规模热别大，例如10亿条数据，此时采用传统的DB去处理的话一般需要对10亿条数据分成很多批次处理，例如分成100批(受限于单台Server的处理能力)，且实际的处理过程可能会非常复杂，通过传统的Java EE等技术可能很难或者不方便实现处理算法，此时采用Spark SQL活得数据库中的数据并进行分布式处理就可以