Spark再体验之springboot整合spark

最新推荐文章于 2024-08-05 11:18:55 发布

爆米花机枪手

最新推荐文章于 2024-08-05 11:18:55 发布

阅读量2.9w

点赞数 4

分类专栏： JAVA 大数据 Spark spring 文章标签： spark web服务数据

本文链接：https://blog.csdn.net/qqhjqs/article/details/70216961

版权

本文介绍了如何在SpringBoot应用中集成Spark，通过示例展示了如何处理数据逻辑，并分享了配置pom.xml时的注意事项，避免Spark与Scala版本不兼容的问题。文章提供了计算单词个数的代码示例，并给出了结果展示，最后提到了使用Java8 Lambda表达式优化代码后的效果。

摘要由CSDN通过智能技术生成

有说胎记是前世死的方式，偶肚子上有个，于是想，难不成上辈子是被人捅死的，谁那么狠。。。后来遇到个人，在同样的位置也有个类似的，忽然就平衡了。
神回复：也可能你们俩上辈子是很烤串

spark

前言

　　上一篇主要讲的是spark环境的搭建和任务的提交，这一篇是将spark直接部署在springboot搭建的web服务里，一些数据逻辑交给spark去处理，至于原理等我对spark有了更深的理解再来一一讲述！

编码

　　使用springboot快速搭建一个web框架，之前对pom中的依赖配置不是怎么在意，进过spark和scala版本的坑之后，发现想配置一个完美的pom是多么的不容易，下面倾情奉送

 <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.3.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <scala.version>2.10.4</scala.version>
        <spark.version>1.6.2</spark.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j</artifactId>
        </dependency>