elastic-job学习 第一篇

最新推荐文章于 2022-03-09 20:13:03 发布
最新推荐文章于 2022-03-09 20:13:03 发布
阅读量87 收藏
点赞数
文章标签： 大数据 操作系统 数据库
原文链接：https://my.oschina.net/iyinghui/blog/1861444
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

根据官方文档实现了一个简单的simple类型（Elastic-Job提供Simple、Dataflow和Script 3种作业类型）的Demo。

官方介绍：

基本概念

1. 分片概念

任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。

例如：有一个遍历数据库某张表的作业，现有2台服务器。为了快速的执行作业，那么每台服务器应执行作业的50%。 为满足此需求，可将作业分成2片，每台服务器执行1片。作业遍历数据的逻辑应为：服务器A遍历ID以奇数结尾的数据；服务器B遍历ID以偶数结尾的数据。 如果分成10片，则作业遍历数据的逻辑应为：每片分到的分片项应为ID%10，而服务器A被分配到分片项0,1,2,3,4；服务器B被分配到分片项5,6,7,8,9，直接的结果就是服务器A遍历ID以0-4结尾的数据；服务器B遍历ID以5-9结尾的数据。

2. 分片项与业务处理解耦

Elastic-Job并不直接提供数据处理的功能，框架只会将分片项分配至各个运行中的作业服务器，开发者需要自行处理分片项与真实数据的对应关系。

3. 个性化参数的适用场景

个性化参数即shardingItemParameter，可以和分片项匹配对应关系，用于将分片项的数字转换为更加可读的业务代码。

例如：按照地区水平拆分数据库，数据库A是北京的数据；数据库B是上海的数据；数据库C是广州的数据。 如果仅按照分片项配置，开发者需要了解0表示北京；1表示上海；2表示广州。 合理使用个性化参数可以让代码更可读，如果配置为0=北京,1=上海,2=广州，那么代码中直接使用北京，上海，广州的枚举值即可完成分片项和业务逻辑的对应关系。

核心理念

1. 分布式调度

Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。

注册中心仅用于作业注册和监控信息存储。而主作业节点仅用于处理分片和清理等功能。

2. 作业高可用

Elastic-Job-Lite提供最安全的方式执行作业。将分片总数设置为1，并使用多于1台的服务器执行作业，作业将会以1主n从的方式执行。

一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。

3. 最大限度利用资源

Elastic-Job-Lite也提供最灵活的方式，最大限度的提高执行作业的吞吐量。将分片项设置为大于服务器的数量，最好是大于服务器倍数的数量，作业将会合理的利用分布式资源，动态的分配分片项。

例如：3台服务器，分成10片，则分片项分配结果为服务器A=0,1,2;服务器B=3,4,5;服务器C=6,7,8,9。 如果服务器C崩溃，则分片项分配结果为服务器A=0,1,2,3,4;服务器B=5,6,7,8,9。在不丢失分片项的情况下，最大限度的利用现有资源提高吞吐量。

整体架构图

eaee31beda94ebcff90445f1209eb8002a9.jpg

环境说明

这里使用去中心化的版本elastic-job-lite。

JDK：1.8（elastic-job要1.7以上）

zookeeper：zookeeper-3.4.12 （官方要求zookeeper-3.4.6以上）

elastic-job-lite-core：2.0.3

依赖

        <dependency>
            <groupId>com.dangdang</groupId>
            <artifactId>elastic-job-lite-core</artifactId>
            <version>2.0.3</version>
        </dependency>

因为我使用了slf4j所以还需要引入依赖：

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.2</version>
        </dependency>

代码

我写了两个类一个是任务作业的实现类MyELasticJob，非常简单，这里只是写了一些日志的打印：

package com.elasticjob.demo;

import com.dangdang.ddframe.job.api.ShardingContext;
import com.dangdang.ddframe.job.api.simple.SimpleJob;
import com.dangdang.ddframe.job.config.JobCoreConfiguration;
import com.dangdang.ddframe.job.config.simple.SimpleJobConfiguration;
import com.dangdang.ddframe.job.lite.api.JobScheduler;
import com.dangdang.ddframe.job.lite.config.LiteJobConfiguration;
import com.dangdang.ddframe.job.reg.base.CoordinatorRegistryCenter;
import com.dangdang.ddframe.job.reg.zookeeper.ZookeeperConfiguration;
import com.dangdang.ddframe.job.reg.zookeeper.ZookeeperRegistryCenter;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Date;

/**
 * @Description: 作业实现类
 * @Author: 张颖辉(yh)
 * @CreateDate: 2018/7/20 14:01
 * @UpdateUser: 张颖辉(yh)
 * @UpdateDate: 2018/7/20 14:01
 * @UpdateRemark: The modified content
 * @Version: 1.0
 */
public class MyELasticJob implements SimpleJob {

    private Logger logger = LoggerFactory.getLogger(getClass());

    /**
     * @Description: 要执行的作业（分片）
     * @Author: 张颖辉(yh)
     * @Date: 2018/7/23 14:42
     * @param: [shardingContext]
     * @return: void
     * @Version: 1.0
     */
    @Override
    public void execute(ShardingContext shardingContext) {
        //任务分片
        switch (shardingContext.getShardingItem()) {
            case 0:
                logger.info("job名称={},分片数量={},当前分片={},当前分片名称={},当前自定义参数={} -----------", shardingContext.getJobName(), shardingContext.getShardingTotalCount(), shardingContext.getShardingItem(), shardingContext.getShardingParameter(), shardingContext.getJobParameter());
                break;
            case 1:
                logger.info("job名称={},分片数量={},当前分片={},当前分片名称={},当前自定义参数={} -----------", shardingContext.getJobName(), shardingContext.getShardingTotalCount(), shardingContext.getShardingItem(), shardingContext.getShardingParameter(), shardingContext.getJobParameter());
                break;
            case 2:
                logger.info("job名称={},分片数量={},当前分片={},当前分片名称={},当前自定义参数={} -----------", shardingContext.getJobName(), shardingContext.getShardingTotalCount(), shardingContext.getShardingItem(), shardingContext.getShardingParameter(), shardingContext.getJobParameter());
                break;
        }
    }
}

另外一个就是关于任务作业的设置和注册中心的设置以及任务的启动：

package com.elasticjob.demo;

import com.dangdang.ddframe.job.config.JobCoreConfiguration;
import com.dangdang.ddframe.job.config.JobRootConfiguration;
import com.dangdang.ddframe.job.config.simple.SimpleJobConfiguration;
import com.dangdang.ddframe.job.lite.api.JobScheduler;
import com.dangdang.ddframe.job.lite.config.LiteJobConfiguration;
import com.dangdang.ddframe.job.reg.base.CoordinatorRegistryCenter;
import com.dangdang.ddframe.job.reg.zookeeper.ZookeeperConfiguration;
import com.dangdang.ddframe.job.reg.zookeeper.ZookeeperRegistryCenter;

/**
 * @Description: Description
 * @Author: 张颖辉(yh)
 * @CreateDate: 2018/7/23 11:30
 * @UpdateUser: 张颖辉(yh)
 * @UpdateDate: 2018/7/23 11:30
 * @UpdateRemark: The modified content
 * @Version: 1.0
 */
public class TestJob {
    public static void main(String[] args) {
        //作业参数
        String jobParameter = "作业节点-linux";
        if (isWindows()) {
            jobParameter = "作业节点-windows";
        }
        new JobScheduler(createRegistryCenter(), createJobConfiguration(jobParameter)).init();
    }

    /**
     * @Description: 创建注册中心
     * @Author: 张颖辉(yh)
     * @Date: 2018/7/20 15:09
     * @param: []
     * @return: com.dangdang.ddframe.job.reg.base.CoordinatorRegistryCenter
     * @Version: 1.0
     */
    private static CoordinatorRegistryCenter createRegistryCenter() {
        CoordinatorRegistryCenter registryCenter = new ZookeeperRegistryCenter(new ZookeeperConfiguration("192.168.5.100:2181", "elastic-job-demo"));
        registryCenter.init();
        return registryCenter;
    }


    /**
     * @Description: 创建作业配置
     * @Author: 张颖辉(yh)
     * @Date: 2018/7/20 15:08
     * @param:
     * @return:
     * @Version: 1.0
     */
    private static LiteJobConfiguration createJobConfiguration(String jobParameter) {
        // demoSimpleJob 为jobname， 0/10 * * * * ?为cron表达式，  3 分片数量，  0=北京,1=上海,2=广州 分片对应参数内容，  jobParameter 作业自定义参数
        // 定义作业核心配置
        JobCoreConfiguration jobCoreConfiguration = JobCoreConfiguration.newBuilder("demoSimpleJob_3p", "0/10 * * * * ?", 3).shardingItemParameters("0=北京,1=上海,2=广州").jobParameter(jobParameter).build();
        // 定义SIMPLE类型配置
        SimpleJobConfiguration simpleJobConfiguration = new SimpleJobConfiguration(jobCoreConfiguration, MyELasticJob.class.getCanonicalName());
        // 定义Lite作业根配置
        LiteJobConfiguration liteJobConfiguration = LiteJobConfiguration.newBuilder(simpleJobConfiguration).build();
        return liteJobConfiguration;
    }

    /**
     * @Description: 是不是windows
     * @Author: 张颖辉(yh)
     * @Date: 2018/7/23 15:15
     * @param:
     * @return:
     * @Version: 1.0
     */
    private static boolean isWindows() {
        return System.getProperties().getProperty("os.name").toUpperCase().indexOf("WINDOWS") != -1;
    }
}

关于作业的分片数量要与作业类中的execute方法里分支相匹配。

然后我在虚拟机下linux中安装了注册中心zookeeper（对应上面代码中指定的zookeeper配置）安装教程

将上面的两个类打成jar，上传到linux中执行，本地windows也执行一份。就会发现三个任务分片有两个在window下执行，

28cc61ac8c5569a0b7aa6fb8679002470da.jpg

剩下的一个在linux中执行了。

46252a66a6e455e84a76f4a4a00d0f94842.jpg

注意：需要两台不同ip的机器去启动job（作业服务器） 因为ElasticJob默认的分片机制是根据ip来分片的 如果ip相同 它会默认为一台服务器 。所以这里我把代码上传到linux上执行一份。

转载于:https://my.oschina.net/iyinghui/blog/1861444

weixin_34355881
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elastic job 的学习和使用
Liu_JM的博客
12-13 946
本文主要是对elastic job初学整理 在我们的项目中，定时任务是必不可少的，我们在部署项目时通常是部署在集群中，定时任务也会被部署在多台机器上，为了保证同一个任务不会被执行多次，就需要分布式定时作业调度平台，比如用户在订阅签到提醒，每天要定时给用户推送签到提醒消息，我们要保证每天只给用户推送一次提醒，防止对用户造成打扰。 目前有两款比较流行的分布式作业调度框架，elastic-job和xxl...
当当网开源的分布式作业调度组件 Elastic-Job.zip
07-19
目录结构说明使用步骤开发指南使用限制运维平台阅读源码编译问题说明实现原理作业分片策略监控快速上手（感谢第三方志愿者 泽伟@心探索科技 提供文档）InfoQ新闻Elastic-Job Wiki （由社区志愿者自由编辑的） ...
Elastic-Job学习
cheng7068的专栏
09-21 302
1、环境要求 a.Java：请使用JDK1.7及其以上版本； b.Zookeeper：请使用Zookeeper 3.4.6及其以上版本； c.Maven：请使用Maven 3.0.4及其以上版本； 2、作业开发 Elastic-Job-Lite和Elastic-Job-Cloud提供统一作业接口，开发者仅需对业务作业进行一次开发，之后可根据不同的配置以及部署至不同的Lite或Cloud环...
Elastic-Job 学习笔记
SIMBA1949的博客
09-08 688
Elastic-Job 学习笔记 前言 官网：http://elasticjob.io/index_zh.html maven 地址：https://mvnrepository.com/artifact/com.dangdang/elastic-job-lite-core maven 地址：https://mvnrepository.com/artifact/com.dangdang/elasti...
Elastic Job学习
weixin_34283445的博客
01-17 68
  从执行的结果来看，随着服务器的增加，分片的结果也不一样 当只有一台服务器的时候，所有分片都到这一台服务器上 当服务器增加到两台的时候，分片的结果是0 1 2 3 4和5 6 7 8 9 当服务器增加到三台的时候，分别结果是0 1 2 9和3 4 5和6 7 8 而且，还发现，在一次任务执行过程中，每个服务器被分到多少个分片，execute()方法就会被调用多少次 ...
分布式任务框架elastic-job 学习笔记
afz8572的博客
05-13 136
官方资料：https://github.com/dangdangdotcom/elastic-job ------------------------------------------------------------------------------------- 官方资料非常完整而且思路清晰，按照自己学习过程整理如下： 1、 何为分布式任务？ 　　自己理解，就是一件...
elastic-job-example-cloud-2.1.5.tar.gz
07-13
Elastic-Job是一个分布式任务调度框架，分为Elastic-Job-Lite和Elastic-Job-Cloud两个版本。这里我们关注的是Elastic-Job-Cloud版本，其2.1.5的压缩包文件"elastic-job-example-cloud-2.1.5.tar.gz"是一个包含了测试...
基于springCloud+RocketMQ+Sharding-jdbc+Elastic-job微服务万信金融项目.zip
最新发布
02-02
基于springCloud+RocketMQ+Sharding-jdbc+Elastic-job微服务万信金融项目.zip ## 技术解决方案 1、微服务技术应用于P2P金融业务解决方案 2、接口规范SpringBoot+Swagger 3、持久层编码 MyBatis Plus 4、...
wed-job：wed-job是基于TBSchedule官方3.2.18版本的重置版。一个轻量级分布式任务调度框架，目前持续更新中，喜欢的同学欢迎关注^ _ ^
02-23
tbschedule-wed正式更称为wed-job并发布第一个正式版 基于TBSchedule官方3.2.18的重置版。TBSchedule具有框架轻，0入侵，效率高（高过elastic-job和xxl-job）等诸多特点，无奈官方于3.3.3.2版本后停止了升级与BUG...
定时任务框架学习资料下篇
02-21
本学习资料下篇聚焦于定时任务框架，特别是ElasticJob和Quartz，这两个框架在Java开发中广泛使用。下面我们将深入探讨这两个框架的核心概念、高级玩法以及整合方式。 首先，我们来看Quartz。Quartz是开源的Java作业...
Elastic-job入门教程
12-27
Elastic-job入门教程，轻松进入elastic-job的世界。赶快下载学习吧
ELasticJob分布式任务调度视频
04-15
ELasticJob分布式任务调度从基础到工作的实际开发中都可以用到的技术，但是技术是学不完的，需要在看完视频后多练习才能更好的成功
elastic-job学习笔记
幽蓝的博客
07-20 264
一概念 elastic-job 是基于Zookepper和Quartz开发并开源的分布式定时任务，解决了Quartz不支持分布式的弊端。支持扩容，由Zookepper监控和管理job，支持失效转移（失效转移是一种备份模式，当主要组件无法工作时，系统组件功能转嫁到二级组件） 二Quartz，Spring-task存在的问题 1不敢轻易随服务节点部署，可能会重复多次执行导致系统逻辑发生问题 2Quartz 的寄去仅仅用作HA随着节点的增加每次的执行效率并不能提高，即不支持水平扩展 三Quartz，Sp
elastic-job学习记录
babyLetsGo的博客
06-28 236
近期一个项目需要使用到可灵活配置的定时任务，以前写定时任务一般都是使用spring boot自带的定时器，直接使用@Scheduled配合cron表达式完成，这次明显不符合需求，经过一番调研查询，便将目光瞄准elastic-job，初步了解发现他不少优点，springboot项目易于集成使用，可将任务配置信息注册到注册中心zookeeper中，页面灵活修改任务配置，可以便捷的调整定时任务的频率，启动，暂停等等，当然，我初次使用学的也比较浅，下面将基本使用方法分享给大家。 首先就是引入pom文件依赖。
elasticJob学习
左上晨的博客
10-17 158
elasticJob学习： http://cxytiandi.com/blog/detail/18362 http://cxytiandi.com/blog/detail/12107
Elastic Job学习（一）相关目录
cwfreebird的博客
03-18 244
整体架构图（官网） 目录结构 elastic-job-lite-core： Java支持模块，可直接使用 elastic-job-lite-console： lite界面模块，可直接使用 elastic-job-lite-lifecyle： lite作业相关操作模块，不可直接使用 elastic-job-lite-spring： Spring命名空间支持模块，可直接使用 ...
分布式定时任务框架Elastic-Job的使用
dong_lxkm的博客
03-06 664
一、前言 Elastic-Job是一个优秀的分布式作业调度框架。 Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化...
Spring Boot 整合定时任务，可以动态编辑的定时任务
江南一点雨的专栏
03-09 4527
定时任务，松哥之前写过多篇文章和大家介绍，上次还自己 DIY 了一个可以动态编辑的定时任务，还录了一个配套视频： 相关的资料链接戳这里： Spring 定时任务玩出花！ 手把手教你定制可编辑的定时任务！ 开发可配置的定时任务～第二弹 Vue非典型用法，一个简单的管理页面 不过我们当时自己写的这个不支持分布式环境，想要支持倒也不是啥难事，弄一个 zookeeper 或者 redis 作为公共的信息中心，里边记录了定时任务的各种运行情况，有了这个就能支持分布式环境了。 今天咱们不自己写了，我们来看一个现成
elastic-job配置类
Leon_Jinhai_Sun的博客
12-22 526
@Configuration public class ElasticJobConfig { @Autowired MyJob myJob; @Autowired ZookeeperRegistryCenter registryCenter; @Value("${myjob.count}") private int shardingCount; @Value("${myjob.cron}") private String cron; .
elastic-job-console 下载
01-11
elastic-job-console是一个基于Java开发的分布式任务调度管理平台，提供了作业管理、执行器管理、任务监控、作业历史和配置管理等功能。要下载elastic-job-console，可以按照以下步骤进行操作： 首先，打开elastic-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值