Spring 整合 spark 使用

最新推荐文章于 2024-07-31 13:16:03 发布

置顶

李文

最新推荐文章于 2024-07-31 13:16:03 发布

阅读量9.3k

点赞数 1

本文链接：https://blog.csdn.net/likunwen_001/article/details/77892198

版权

本文介绍了如何在Spring项目中整合Spark，包括Maven依赖配置、Spring Bean定义、属性文件设置，以及具体的数据读取和写入操作。示例展示了如何通过SparkSQL连接MySQL数据库进行数据查询和插入。

摘要由CSDN通过智能技术生成

第一步：MAVEN配置

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_2.11</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-compiler</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-reflect</artifactId>
<version>2.11.0</version>
</dependency>

第二步：Spring配置

<bean id="sparkConf" class="org.apache.spark.SparkConf">
<property name="AppName" value="SparkForSpring" />
<property name="Master" value="local" />
</bean>

<bean id="javaSparkContext" class="org.apache.spark.api.java.JavaSparkCont