Spark程序引用别的jar

第一种方式

操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中

应用场景：第三方jar文件比较小，应用的地方比较少

第二种方式

操作：使用spark-submit提交命令的参数: --jars

要求：

1、使用spark-submit命令的机器上存在对应的jar文件

2、至于集群中其他机器上的服务需要该jar文件的时候，通过driver提供的一个http接口来获取该jar文件的(例如：http://192.168.187.146:50206/jars/mysql-connector-java-5.1.27-bin.jar Added By User)

1 2 3

## 配置参数：--jars JARS 如下示例： $ bin/spark-shell --jars /opt/cdh-5.3.6/hive/lib/mysql-connector-java-5.1.27-bin.jar

应用场景：要求本地必须要有对应的jar文件

第三种方式

操作：使用spark-submit提交命令的参数: --packages