Cluster模式潜在问题学习笔记---分布式调度之Elastic-Job介绍

最新推荐文章于 2023-03-20 20:52:40 发布
最新推荐文章于 2023-03-20 20:52:40 发布
阅读量173 收藏
点赞数
分类专栏： Cluster模式潜在问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39314972/article/details/108720381
版权

Cluster模式潜在问题学习笔记—分布式调度之Elastic-Job介绍

1.Elastic-Job介绍

Elastic-Job是当当⽹开源的⼀个分布式调度解决⽅案，基于Quartz⼆次开发的，由两个相互独⽴的⼦项⽬Elastic-Job-Lite和Elastic-Job-Cloud组成。我们要学习的是 Elastic-Job-Lite，它定位为轻量级⽆中⼼化解决⽅案，使⽤Jar包的形式提供分布式任务的协调服务，⽽Elastic-Job-Cloud⼦项⽬需要结合Mesos以及Docker在云环境下使⽤。

2.主要功能介绍

  1. 分布式调度协调：在分布式环境中，任务能够按指定的调度策略执⾏，并且能够避免同⼀任务多实例重复执⾏
  2. 丰富的调度策略基于成熟的定时任务作业框架Quartz cron表达式执⾏定时任务
  3. 弹性扩容缩容当集群中增加某⼀个实例，它应当也能够被选举并执⾏任务；当集群减少⼀个实例时，它所执⾏的任务能被转移到别的实例来执⾏。
  4. 失效转移某实例在任务执⾏失败后，会被转移到其他实例执⾏
  5. 错过执⾏作业重触发若因某种原因导致作业错过执⾏，⾃动记录错过执⾏的作业，并在上次作业完成后⾃动触发。
  6. ⽀持并⾏调度⽀持任务分⽚，任务分⽚是指将⼀个任务分为多个⼩任务项在多个实例同时执⾏。
  7. 作业分⽚⼀致性当任务被分⽚后，保证同⼀分⽚在分布式环境中仅⼀个执⾏实例。

3. Elastic-Job-Lite应⽤

  1. jar包（API） + 安装zookeeper软件
  2. Elastic-Job依赖于Zookeeper进⾏分布式协调，所以需要安装Zookeeper软件（3.4.6版本以上）
  3. 关于Zookeeper，此处我们不做详解，在阶段三会有深度学习，我们此处需要明⽩Zookeeper的本质功能：存储+通知。
  4. 安装Zookeeper（此处单例配置）
    1. 我们使⽤3.4.10版本，在linux平台解压下载的zookeeper-3.4.10.tar.gz
    2. 进⼊conf⽬录，cp zoo_sample.cfg zoo.cfg
    3. 进⼊bin⽬录，启动zk服务
    4. 启动 ./zkServer.sh start
    5. 停⽌ ./zkServer.sh stop
    6. 查看状态 ./zkServer.sh status
  5. Zookeeper的树形节点结构图
    在这里插入图片描述

4.Elastic-Job-Lite轻量级去中⼼化的特点

在这里插入图片描述

5.调度任务分片理解

  1. ⼀个⼤的⾮常耗时的作业Job，⽐如：⼀次要处理⼀亿的数据，那这⼀亿的数据存储在数据库中，如果⽤⼀个作业节点处理⼀亿数据要很久，在互联⽹领域是不太能接受的，互联⽹领域更希望机器的增加去横向扩展处理能⼒。
  2. 所以，ElasticJob可以把作业分为多个的task（每⼀个task就是⼀个任务分⽚），每⼀个task交给具体的⼀个机器实例去处理（⼀个机器实例是可以处理多个task的），但是具体每个task执⾏什么逻辑由我们⾃⼰来指定。
    在这里插入图片描述
  3. Strategy策略定义这些分⽚项怎么去分配到各个机器上去，默认是平均去分，可以定制，⽐如某⼀个机器负载 ⽐较⾼或者预配置⽐较⾼，那么就可以写策略。
  4. 分⽚和作业本身是通过⼀个注册中⼼协调的，因为在分布式环境下，状态数据肯定集中到⼀点，才可以在分布式中沟通。

6. 弹性扩容

在这里插入图片描述

  1. 新增加⼀个运⾏实例app3，它会⾃动注册到注册中⼼，注册中⼼发现新的服务上线，注册中⼼会通知ElasticJob 进⾏重新分⽚，那么总得分⽚项有多少，那么就可以搞多少个实例机器，⽐如完全可以分1000⽚
    最多就可以有多少app实例，，，，机器能成的主，完全可以分1000⽚，那么就可以搞1000台机器⼀起执⾏作业
  2. 注意：
    1. 分⽚项也是⼀个JOB配置，修改配置，重新分⽚，在下⼀次定时运⾏之前会重新调⽤分⽚算法，那么这个分⽚算法的结果就是：哪台机器运⾏哪⼀个⼀⽚，这个结果存储到zk中的，主节点会把分⽚给分好放到注册中⼼去，然后执⾏节点从注册中⼼获取信息(执⾏节点在定时任务开启的时候获取相应的分⽚)。
    2. 如果所有的节点挂掉值剩下⼀个节点，所有分⽚都会指向剩下的⼀个节点，这也是ElasticJob的⾼可⽤。
馒头太帅了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper学习笔记之-分布式系统介绍以及zookeeper快速入门
huanglei_hacker的博客
07-25 502
发展背景 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。。 垂直应用架构 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。 分布式服务架构 当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。 什么是分布式系统？ 《分布式系统原理和范型》一书中是这样定义分布式系...
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)
一些平时在开发过程中遇到的常见问题，分享给大家
02-27 1552
1.业务场景 保险人管系统每月工资结算，平安有150万代理人，如何快速的进行工资结算(数据运算型) 保险短信开门红/电商双十一 1000w+短信发送(短时汇聚型) 工作中业务场景非常多，所涉及到的场景也各不相同，这使得我们定时任务系统应该集管理、调度、任务分配、监控预警为一体的综合调度系统,如何打造一套健壮的、适应不同场景的系统，技术选型尤其重要。 针对以上场景我们需要我们...
Elastic-Job何为分布式作业
杨春建的博客
10-23 4962
原文地址：http://dangdangdotcom.github.io/elastic-job/post/1.x/distribution/ 何为分布式作业？ 分片概念 任务的分布式执行，需要将一个任务拆分为n个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。 例如：有一个遍历数据库某张表的作业，现有2台服务器。为了快速的执行作业，那么每台服务器应执行作业的
Cluster模式潜在问题学习笔记---分布式调度之定时任务场景回顾
qq_39314972的博客
09-21 258
Cluster模式潜在问题学习笔记—分布式调度之定时任务场景回顾 调度—>定时任务，分布式调度—>在分布式集群环境下定时任务这件事 主要看看Elastic-job（当当⽹开源的分布式调度框架） 1. 应用场景 定时任务形式：每隔⼀定时间/特定某⼀时刻执⾏ 例如： 订单审核、出库 订单超时⾃动取消、⽀付退款 礼券同步、⽣成、发放作业 物流信息推送、抓取作业、退换货处理作业 数据积压监控、⽇志监控、服务可⽤性探测作业 定时备份数据 ⾦融系统每天的定时结算 数据归档、清理作业 报表、离线数据分
[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator
罗西的思考
07-26 534
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文借着学习 Horovod on K8S 功能，介绍MPI-Operator，期望可以从中找出设计思路。
k8s 读书笔记 - 详解 Pod 调度（Ⅱ卷）
dotNET跨平台
09-04 281
前缘再续这缘分像一道桥，旌旗飘啊飘，你想走就请立马抽刀，爱一笔勾销。路过，那就是缘分，留下，便是注定。太阳不会因为你的失意，明天不再升起；月亮不会因为你的抱怨，今晚不再降落。缘分一道桥喜欢我的小伙伴欢迎关注我哟，风雨同舟，一路相伴！您的鼓励就是我成长的动力，一起学习，一起成长！接下来我们再续前缘吧 === (*￣︶￣)Pod Priority Preemption，Pod 优先级调度【特性状态】：...
SpringBoot学习笔记(2)-application.properties配置大全
知不足而奋进 望远山而前行
03-20 312
SpringBoot项目最重要也是最核心的配置文件就是application.properties，所有的框架配置都需要在这个配置文件中说明，以下配置大全转自https://blog.csdn.net/pbrlovejava/article/details/82659702。
MySQL学习笔记-基础篇1
xu_jin_shan的博客
02-26 1080
MySQL 学习笔记–基础篇1 1.数据库概述与MySQL安装 2.基本SELECT语句 3.运算符 4.排序与分页 5.多表查询 6.单行函数 7.聚合函数
Elastic-Job分布式任务调度视频教程
11-25
2、课程价值本着从解决生产实际问题出发，讲授分布式任务调度的实现方案，本课程采用当当网开源的Elastic-job任务调度产品作为技术方案，从Elastic-job的应用、原理、项目实战三方面进行讲解，通过学习本课程可以...
分布式任务调度框架elastic-job-lite
05-18
分布式任务调度框架Elastic-Job-Lite是当当网推出的一款轻量级无中心化任务调度解决方案，旨在解决大规模分布式环境下的任务调度问题。这款框架的设计理念是将任务的执行与调度分离，使得任务调度器无需关注具体的...
分布式调度任务架构elastic job的spring-boot-starter自动装载模块
06-06
elastic job是当当网开源的基于quartz的分布式调度框架，通过zookeeper实 现分布式协调，加上支持分片、日志追踪、任务管理UI、高可性被大家熟知。 2.目前新的项目基本都是spring boot，如何通过约束、配置方式...
shardingsphere-elasticjob：分布式计划作业框架
02-04
ElasticJob是一种分布式调度解决方案，由两个单独的项目（ElasticJob-Lite和ElasticJob-Cloud）组成。 通过灵活的调度，资源管理和作业管理功能，它创建了适合Internet场景的分布式调度解决方案，并通过开放式架构...
ElasticJob分布式调度解决方案-其他
06-12
ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案，由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。 它通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
Elastic-job：解决分布式定时任务挑战的框架解析
Elastic-job是一个专门设计用于分布式场景下的定时任务调度框架，由Guizhou Normal University的Cyberspace Security团队于2020年11月25日进行讲解。它是在面对企业级业务需求，特别是大规模分布式系统中对定时任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值