Spring 整合 spark 使用

本文介绍了如何在Spring项目中整合Spark,包括Maven依赖配置、Spring Bean定义、属性文件设置,以及具体的数据读取和写入操作。示例展示了如何通过SparkSQL连接MySQL数据库进行数据查询和插入。
摘要由CSDN通过智能技术生成

第一步:MAVEN配置


<!-- spark 使用 -->
   <dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_2.11</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
   <version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-compiler</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-reflect</artifactId>
<version>2.11.0</version>
</dependency>

<!-- spark 使用 -->


第二步:Spring配置

<bean id="sparkConf" class="org.apache.spark.SparkConf">
           <property name="AppName" value="SparkForSpring" />
           <property name="Master" value="local" />          
</bean>

<bean id="javaSparkContext" class="org.apache.spark.api.java.JavaSparkCont

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值