利用spring-boot构建spark job作业提交服务

最新推荐文章于 2024-08-05 11:18:55 发布

烫烫烫口

最新推荐文章于 2024-08-05 11:18:55 发布

阅读量9k

点赞数 1

分类专栏： j2ee 文章标签： spark spring boot

本文链接：https://blog.csdn.net/fzuzhanghao1993/article/details/79655794

版权

版本依赖

spark.version：2.1.0
hadoop.version：2.6.5
springboot-mybatis.version：1.1.1
springboot：1.5.10

实现功能

通过HTTP提交job作业请求，并记录日志到数据库中
项目DAO部分使用mybatis实现，本文中不做记录

编码实现

pom

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.test</groupId>
    <artifactId>miniSparkJobServer</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>miniSparkJobServer</name>
    <description>micro-server</description>
    <properties>
        <!-- mybatis版本号 -->
        <springboot-mybatis.version>1.1.1</springboot-mybatis.version>
        <!-- log4j日志文件管理包版本 -->
        <slf4j.version>1.7.7</slf4j.version>
        <log4j.version>1.2.17</log4j.version>
        <spark.version>2.1.0</spark.version>
        <hadoop.version>2.6.5</hadoop.version>
        <java.version>1.8</java.version>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.10.RELEASE</version>
    </parent>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <!-- 表示开发的时候引入，发布的时候不会加载此包 -->
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>