Elastic-Job-Lite结合spring+eql实现定时任务

最新推荐文章于 2024-09-09 08:10:41 发布
最新推荐文章于 2024-09-09 08:10:41 发布
阅读量2.2k 收藏 5
点赞数 1
分类专栏： java 文章标签： eql elastic-job-lite 定时任务 spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh_9590/article/details/82984126
版权

由于项目中定时任务采用了elasticjob+spring+eql，自己就学习分享下。

1、elasticjob

官网资料：  http://elasticjob.io/

2、没啥说明的，还是简单说说

先说说开发环境：win10、idea、tomcat8、jdk1.8

开发工具版本：

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <spring.version>4.3.0.RELEASE</spring.version>
    <job.version>2.1.5</job.version>
    <zk.version>3.4.8</zk.version>
</properties>

jar包maven地址：http://www.mvnjar.com/org.apache.zookeeper/zookeeper/jar.html

后续需要什么包自己动手搜，选择自己版本添加到pom

3、动手实现

idea创建springmvc项目

后续步骤就不详细说明了，自己动手百度之。

创建好的项目

调整下项目结构，file->project structure->modules

引入jar：pom文件如下

 

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.study</groupId>
    <artifactId>elastic-job-project</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>war</packaging>

    <name>elastic-job-project Maven Webapp</name>
    <!-- FIXME change it to the project's website -->
    <url>http://www.example.com</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <spring.version>4.3.0.RELEASE</spring.version>
        <job.version>2.1.5</job.version>
        <zk.version>3.4.10</zk.version>
    </properties>

    <dependencies>
        <!-- spring核心包 -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <!-- elasticJob相关包 -->
        <dependency>
            <groupId>com.dangdang</groupId>
            <artifactId>elastic-job-lite-core</artifactId>
            <version>${job.version}</version>
        </dependency>
        <dependency>
            <groupId>com.dangdang</groupId>
            <artifactId>elastic-job-lite-spring</artifactId>
            <version>${job.version}</version>
        </dependency>
        <!-- log相关包 -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.6.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.6.6</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.5</version>
        </dependency>
        <!-- 底层数据库相关包 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
        <dependency>
            <groupId>c3p0</groupId>
            <artifactId>c3p0</artifactId>
            <version>0.9.1.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.github.bingoohuang/eql -->
        <dependency>
            <groupId>com.github.bingoohuang</groupId>
            <artifactId>eql</artifactId>
            <version>0.0.91</version>
        </dependency>

        <!-- redis包 -->
        <!-- alibb包 -->
        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.51</version>
        </dependency>
        <!-- zookeeper -->
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>${zk.version}</version>
        </dependency>
    </dependencies>

    <build>
        <finalName>elastic-job-project</finalName>
        <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
            <plugins>
                <plugin>
                    <artifactId>maven-clean-plugin</artifactId>
                    <version>3.0.0</version>
                </plugin>
                <!-- see http://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_war_packaging -->
                <plugin>
                    <artifactId>maven-resources-plugin</artifactId>
                    <version>3.0.2</version>
                </plugin>
                <plugin>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.7.0</version>
                </plugin>
                <plugin>
                    <artifactId>maven-surefire-plugin</artifactId>
                    <version>2.20.1</version>
                </plugin>
                <plugin>
                    <artifactId>maven-war-plugin</artifactId>
                    <version>3.2.0</version>
                </plugin>
                <plugin>
                    <artifactId>maven-install-plugin</artifactId>
                    <version>2.5.2</version>
                </plugin>
                <plugin>
                    <artifactId>maven-deploy-plugin</artifactId>
                    <version>2.8.2</version>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
</project>

 

创建项目相关文件，项目结构如下：

首先配置spring的配置文件：spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-4.3.xsd
        http://www.springframework.org/schema/context
        http://www.springframework.org/schema/context/spring-context-4.3.xsd">

    <!-- 开启spring的包扫描 -->
    <!-- 自动扫描包，实现支持注解的IOC -->
    <context:component-scan base-package="com.study.job"/>

    <!-- 加载elastic-job的任务配置信息 -->
    <import resource="classpath:./job-config/elastic-job-config.xml"/>

</beans>

接下来配置：elastic-job-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:reg="http://www.dangdang.com/schema/ddframe/reg"
       xmlns:job="http://www.dangdang.com/schema/ddframe/job"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.dangdang.com/schema/ddframe/reg
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd
                        http://www.dangdang.com/schema/ddframe/job
                        http://www.dangdang.com/schema/ddframe/job/job.xsd">

    <!--配置作业注册中心 -->
    <reg:zookeeper id="regCenter"
                   server-lists="127.0.0.1:2181"
                   namespace="study-elastic-job"
                   base-sleep-time-milliseconds="1000"
                   max-sleep-time-milliseconds="3000"
                   max-retries="3"
                   digest="digest"/>
    
</beans>

说明：elasticjob依赖于zookeeper的，要注册信息到zookeeper，各个参数的意义可以参考：http://elasticjob.io/docs/elastic-job-lite/02-guide/config-manual/

其中的  2. Spring命名空间配置

先实现demo：

简单任务：

package com.study.job.demo.job;

import com.alibaba.fastjson.JSON;
import com.dangdang.ddframe.job.api.ShardingContext;
import com.dangdang.ddframe.job.api.simple.SimpleJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

/**
 * 简单任务，实现接口 SimpleJob
 */
@Component
public class DemoSimpleJob implements SimpleJob {
    private static final Logger log = LoggerFactory.getLogger(DemoSimpleJob.class);

    @Override
    public void execute(ShardingContext shardingContext) {
        log.info("进入当前简单任务");
        log.info("简单任务，ShardingContext信息：" + JSON.toJSONString(shardingContext));
    }
}

流式任务：

package com.study.job.demo.job;

import com.alibaba.fastjson.JSON;
import com.dangdang.ddframe.job.api.ShardingContext;
import com.dangdang.ddframe.job.api.dataflow.DataflowJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import java.util.List;

/**
 * 流式处理任务，实现接口 DataflowJob<T>
 */
@Component
public class DemoDataFlowJob implements DataflowJob<String> {
    private static final Logger log = LoggerFactory.getLogger(DemoDataFlowJob.class);

    @Override
    public List<String> fetchData(ShardingContext shardingContext) {
        log.info("进入当前--流式--任务");
        log.info("流式--任务，ShardingContext信息：" + JSON.toJSONString(shardingContext));

        /**
         *  当此方法返回为空或者size=0的时候，不会执行下边的processData
         */
        return null;
    }

    @Override
    public void processData(ShardingContext shardingContext, List<String> list) {

    }
}

 

配置任务到：elastic-job-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:reg="http://www.dangdang.com/schema/ddframe/reg"
       xmlns:job="http://www.dangdang.com/schema/ddframe/job"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.dangdang.com/schema/ddframe/reg
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd
                        http://www.dangdang.com/schema/ddframe/job
                        http://www.dangdang.com/schema/ddframe/job/job.xsd">

    <!--配置作业注册中心 -->
    <reg:zookeeper id="study-elastic-job-regCenter"
                   server-lists="127.0.0.1:2181"
                   namespace="study-elastic-job"
                   base-sleep-time-milliseconds="1000"
                   max-sleep-time-milliseconds="3000"
                   max-retries="3"
                   digest="digest"/>
    <!-- 配置简单作业   -->
    <job:simple id="demoSimpleJob"
                class="com.study.job.demo.job.DemoSimpleJob"
                registry-center-ref="study-elastic-job-regCenter"
                cron="0 0/1 * * * ?"
                sharding-total-count="1"
                overwrite="true"
                description="简单任务配置"/>
    <!-- 配置流式作业   -->
    <job:dataflow id="demoDataFlowJob"
                  class="com.study.job.demo.job.DemoDataFlowJob"
                  registry-center-ref="study-elastic-job-regCenter"
                  cron="0 0/1 * * * ?"
                  sharding-total-count="3"
                  sharding-item-parameters="0=A,1=B,2=C"
                  description="流式任务配置"/>
</beans>

说明：各个类型任务的参数说明就不细说，

各个参数的意义可以参考：http://elasticjob.io/docs/elastic-job-lite/02-guide/config-manual/

其中的  2. Spring命名空间配置

zookeeper的搭建，这就不过多的说明zookeeper的搭建了，本次采用的单机zk，需要注意的是，版本的控制需要注意，建议跟随官方文档。

启动项目：

以下显示成功启动，最后会有一些注册job的信息打印出

至此项目基本启动到定时任务的实现就完成了，结果如下：

zookeeper中任务节点信息如下：

 

 

接下来就说明eql与spring的结合

先说说eql轻量级框架的，个人认为，有错误请大家评论指出

eql是零侵入的一个框架，与spring的集合不像mybatis、hibernate那样一样需要过多的配置文件，只需要在指定目录建立指定的文件夹即可项目结构如下所示：

 

首先创建bean：

package com.study.job.demo.bean;

/**
 * 展示插入数据库 demo bean
 */
public class UserBean {
    private String userName;
    private int userAge;
    private String userSex;

    public UserBean(String userName, int userAge, String userSex) {
        this.userName = userName;
        this.userAge = userAge;
        this.userSex = userSex;
    }

    public String getUserName() {
        return userName;
    }

    public void setUserName(String userName) {
        this.userName = userName;
    }

    public int getUserAge() {
        return userAge;
    }

    public void setUserAge(int userAge) {
        this.userAge = userAge;
    }

    public String getUserSex() {
        return userSex;
    }

    public void setUserSex(String userSex) {
        this.userSex = userSex;
    }
}

数据库连接文件，eql-DEFAULT.properties

创建定时任务：

package com.study.job.demo.job;

import com.dangdang.ddframe.job.api.ShardingContext;
import com.dangdang.ddframe.job.api.simple.SimpleJob;
import com.study.job.demo.bean.UserBean;
import org.n3r.eql.Eql;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

/**
 * 展示 eql的使用的 demo
 */
@Component
public class UserJob implements SimpleJob {
    private static final Logger log = LoggerFactory.getLogger(UserJob.class);

    @Override
    public void execute(ShardingContext shardingContext) {
        log.info("测试sql的数据库连接：");
        /**
         *  仅做展示
         */
        for (int i = 0; i < 10; i++) {
            UserBean userBean = new UserBean("demo" + i, i, i % 2 == 0 ? "man" : "woman");
            new Eql().insert("insertUser").params(userBean).execute();
        }

        /**
         * eql 详细用法参考
         *
         *  https://github.com/bingoohuang/eql
         */

    }
}

对应的eql文件 UserJob.eql

--[insertUser]
insert into user(user_name,user_age,user_sex)
values(#userName#,#userAge#,#userSex#);

配置到定时任务，elastic-job-config.xml

<job:simple id="userJob"
            class="com.study.job.demo.job.UserJob"
            registry-center-ref="study-job-regCenter"
            cron="0/10 * * * * ?"
            sharding-total-count="1"
            overwrite="true"
            description="测试eql数据库的链接，新增数据"/>

启动项目：

 

查看数据库信息：

 

到此，基本的使用流程已经完成，接下来给大家展示下elastic-job的控制台：

 

由于是本地，就win启动了

默认的端口就是8899，直接访问  http://localhost:8899/

账户密码就是配置文件里边配置的，

 

添加我们启动的定时任务

 

链接的信息就是项目中配置zookeeper的注册信息

注册好后就连接，切换到作业操作就可以操作自己的任务

 

到此，一个定时任务的全部完成，由于网上资料较少，自己写了，有什么问题欢迎指出，

知识无界限，一起学习一起进步。

 

源码地址

链接: https://pan.baidu.com/s/1OJHBlHB2GtTncAIuN0rveg 提取码: fydr

zh_9590
关注
专栏目录
elastic-job+elastic-job-lite-console+springboot搭建使用详细介绍
weixin_40751916的博客
07-17 1380
elastic-job+springboot+zookeeper搭建分布式定时任务开发环境问题描述elastic-job和zookeeperwindows安装zookeeper代码解释 开发环境 1.jdk.8 2.apache-maven-3.5.4 3.zookeeper-3.4.12(下面会详细介绍windows安装教程) 问题描述 在我们项目开发中会写很多定时任务，但是我们集群部署时候就尴尬了，如果用springboot自带的定时任务，多节点部署我们只能打包一个项目部署后，在打包另一个时候将另一个节
Elastic-Job-Lite分布式调度（springboot）
usernamehui的博客
03-17 1022
概述 Elastic-Job 是一个开源的分布式调度中间件，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic- Job-Cloud 组成。 Elastic-Job-Lite 为轻量级无中心化解决方案，使用 jar 包提供分布式任务的调度和治理。 Elastic-Job-Lite 定位为纯粹的作业中间件，仅关注分布式调度、协调以及分片等核心功能，将作业部署、资源分配等功能交于 Mesos 或 Kubernetes 处理； 项目架构 Ela...
EQL 开源项目教程
最新发布
gitblog_00532的博客
09-09 946
EQL 开源项目教程 eqlEQL is a declarative way to make hierarchical (and possibly nested) selections of information about data requirements. This repository contains the base specs and definitions for EQL pa...
springboot整合定时框架-Elastic-job-lite
热门推荐
MiChong的博客
05-08 1万+
一、前言 本文Github地址 官网地址 当当网张亮主导开发的分布式任务调度框架，结合zookeeper技术解决quartz框架在分布式系统中重复的定时任务导致的不可预见的错误！ Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化...
ElasticJob-Lite 3.x 集成springBoot 实战 (一次性作业、定时作业)
杨杨杨~~的博客
04-27 1754
ElasticJob-Lite 3.x 集成springBoot 实战 (一次性作业、定时作业)
ElasticJob+Spring Boot简单使用
owen
05-11 4489
ElasticJob+Spring Boot简单使用 1、部署zookeeper集群 使用docker快速部署 zookeeper.yml version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 container_name: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1
elastic-job-lite-console-2.1.5.zip[支持Windows/Os/Linux]
01-15
Elastic-Job是一个分布式任务调度框架，由两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。这里的"elastic-job-lite-console-2.1.5.zip"是一个压缩包，其中包含了Elastic-Job-Lite的控制台版本，支持在...
elastic-job-lite-console-master.zip
12-22
Elastic-Job-Lite是一款轻量级的分布式任务调度框架，由当当网开源，它提供了简单易用的API和可扩展的作业生态。在Elastic-Job-Lite中，"elastic-job-lite-console-master.zip"是一个包含Elastic-Job-Lite的可视化...
elastic-job-lite-console-3.0.0.M1-SNAPSHOT.rar
05-18
当当elastic-job控制台jar包，elastic-job-lite-console-3.0.0.M1-SNAPSHOT，本人从git下载源码后编译生成的jar。 $ 解压 elastic-job-lite-console-3.0.0.M1-SNAPSHOT.rar $ cd elastic-job-lite-console-3.0.0.M1-...
elastic-job-lite-console-2.1.5.tar.gz
11-26
Elastic-Job是一个分布式任务调度框架，由两个子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。Elastic-Job-Lite是轻量级的解决方案，它不依赖于任何云平台，适用于分布式环境中的任务调度。而Elastic-Job-Cloud则...
SpringBoot基础教程3-1-5 Elastic-Job-lite快速整合
weixin_34409357的博客
12-06 179
2019独角兽企业重金招聘Python工程师标准>>> ...
springboot 整合 elastic-job，动态实现定时任务
wjavadog的博客
07-29 1168
前言 elastic-job 是当当开源的分布式定时作业框架，其基于 zookeeper 实现定时任务，上一篇文章中记录了一下使用 xml 文件配置定时作业。 随着 springboot 的兴起，现在大多数使用 java bean 的形式进行配置，同时还可能有些需求需要实现定时作业的动态生成。 demo 如下: 首先定义 elastic-job 配置类 ElasticJobConfig @Co...
SpringBoot使用Elastic-Job-lite，实现动态创建定时任务，任务持久化
weixin_35688029的博客
02-19 1197
https://github.com/LuoLiangDSGA/spring-learning/tree/master/boot-elasticjob
Springboot整合Elastic-job
swimming_in_IT_的博客
12-28 1762
Elastic-Job 最开始只有一个 elastic-job-core 的项目，定位轻量级、无中心化，最核心的服务就是支持弹性扩容和数据分片！从 2.X 版本以后，主要分为 Elastic-Job-Lite 和 Elastic-Job-Cloud 两个子项目。应用在各自的节点执行任务，通过 zookeeper 注册中心协调。节点注册、节点选举、任务分片、监听都在 E-Job 的代码中完成。下图是官网提供得。
elastic -job和springboot集成实现分布式调度5
健康平安的活着的专栏
11-26 862
基于集成方式的而产出的工程代码，完成对作业分片的实现，文件数据备份采取更接近真实项目的数 据库存取方式。1.分片设置2.每个线程获取给自的类型。
分布式调度框架 elastic-job 实践详解（超详细）
lvlei19911108的博客
07-10 5580
虽然 Quartz 也可以通过集群方式来保证服务高可用，但是它也有一个的弊端，那就是服务节点数量的增加，并不能提升任务的执行效率，即不能实现水平扩展！ 之所以产生这样的结果，是因为 Quartz 在分布式集群环境下是通过数据库锁方式来实现有且只有一个有效的服务节点来运行服务，从而保证服务在集群环境下定时任务不会被重复调用！ 如果需要运行的定时任务很少的话，使用 Quartz 不会有太大的问题，但是...
Elastic-job与SpringBoot集成demo
青鸟飞鱼
01-04 1万+
1.引入jar &lt;dependency&gt; &lt;groupId&gt;com.dangdang&lt;/groupId&gt; &lt;artifactId&gt;elastic-job-lite-core&lt;/artifactId&gt; &lt;/dependency&gt; &lt;dependency&gt; &lt;groupId&a
Springboot——集成Elastic Job实现任务调度
tang_seven的博客
05-08 2367
Sprngboot集成elatic job，进行分布式任务调度（分布式架构下的定时任务）
SpringBoot+Elastic-Job，实现动态创建定时任务，任务持久化
Java笔记虾
04-15 796
点击关注公众号，利用碎片时间学习Elastic-Job是当当开源的一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务；Elastic-Job-Cloud采用自研Mesos Framework的解决方案...
Elastic-job：解决分布式定时任务挑战的框架解析
Elastic-job是一个专门设计用于分布式场景下的定时任务调度框架，由Guizhou Normal University的Cyberspace Security团队于2020年11月25日进行讲解。它是在面对企业级业务需求，特别是大规模分布式系统中对定时任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值