Spark再体验之springboot整合spark

本文介绍了如何在SpringBoot应用中集成Spark,通过示例展示了如何处理数据逻辑,并分享了配置pom.xml时的注意事项,避免Spark与Scala版本不兼容的问题。文章提供了计算单词个数的代码示例,并给出了结果展示,最后提到了使用Java8 Lambda表达式优化代码后的效果。
摘要由CSDN通过智能技术生成

有说胎记是前世死的方式,偶肚子上有个,于是想,难不成上辈子是被人捅死的,谁那么狠。。。后来遇到个人,在同样的位置也有个类似的,忽然就平衡了。
神回复:也可能你们俩上辈子是很烤串

spark

前言

  上一篇主要讲的是spark环境的搭建和任务的提交,这一篇是将spark直接部署在springboot搭建的web服务里,一些数据逻辑交给spark去处理,至于原理等我对spark有了更深的理解再来一一讲述!

编码

  使用springboot快速搭建一个web框架,之前对pom中的依赖配置不是怎么在意,进过spark和scala版本的坑之后,发现想配置一个完美的pom是多么的不容易,下面倾情奉送

 <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.3.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <scala.version>2.10.4</scala.version>
        <spark.version>1.6.2</spark.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j</artifactId>
        </dependency>
        
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值