springcloud如何使用分布式调度 elasticjob + zookeeper(入门)

介绍

  • 当一个做定时的服务器崩了以后,另一个服务器将接手继续做定时任务

分布式调度优点:

  • 1.单机处理极限:原本1分钟内需要处理1万个订单,但是现在需要1分钟内处理10万个订单;原来一个统计需要1小时,现在业务方需要10分钟就统计出来。你也许会说,你也可以多线程、单机多进程处理。的确,多线程并行处理可以提高单位时间的处理效率,但是单机能力毕竟有限(主要是CPU、内存和磁盘),始终会有单机处理不过来的情况。

  • 2.高可用:单机版的定式任务调度只能在一台机器上运行,如果程序或者系统出现异常就会导致功能不可用。虽然可以在单机程序实现的足够稳定,但始终有机会遇到非程序引起的故障,而这个对于一个系统的核心功能来说是不可接受的。

  • 3.防止重复执行: 在单机模式下,定时任务是没什么问题的。但当我们部署了多台服务,同时又每台服务又有定时任务时,若不进行合理的控制在同一时间,只有一个定时任务启动执行,这时,定时执行的结果就可能存在混乱和错误了

配置

pom.xml

  • <dependency> <groupId>com.dangdang</groupId> <artifactId>elastic-job-lite-spring</artifactId> <version>2.1.5</version> </dependency>
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.edt</groupId>
    <artifactId>elasticjob</artifactId>
    <version>1.0-SNAPSHOT</version>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.3.RELEASE</version>
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>com.dangdang</groupId>
        <artifactId>elastic-job-lite-spring</artifactId>
        <version>2.1.5</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>
</project>

application.yml

  • 这里的zookeeper设置是自定义的,为了给类使用这里的属性值,解决硬编码问题
zookeeper:
  host: localhost:2181
  namespace:  springboot-elastic-job-demo
server:
  port: 8082

运行zookeeper服务

  • zoo_sample.cfg文件拷贝改名成zoo.cfg
    在这里插入图片描述
  • 进入bin文件夹,双击运行zkServer.cmd
    在这里插入图片描述
  • 打开ZooInspector图形化工具 可看zookeeper相关数据
    在这里插入图片描述
  • 输入cmd命令行开启java -jar zookeeper-dev-ZooInspector.jar

在这里插入图片描述

开搞

  • ZookeeperConfig(配端口等信息连接上zookeeper服务),JobConfiguration(多久定时操作一次,初始化开启定时),MyElasticJob(定时操作的业务)
    在这里插入图片描述

MyElasticJob

  • execute方法写定时操作的业务逻辑代码
@Component
public class MyElasticJob implements SimpleJob {

//执行我们定时任务, 比如每隔30分钟就会执行一次execute方法
    public void execute(ShardingContext shardingContext) {
        System.out.println("定时任务开始====>"+new Date());
    }
}

ZookeeperConfig

  • 配置并连接zookeeper服务,端口和空间名引用application.yml中写好的
@Configuration
public class ZookeeperConfig {

    @Bean
    private static CoordinatorRegistryCenter createRegistryCenter(@Value("${zookeeper.host}") String host, @Value("${zookeeper.namespace}") String namespace) {
        //配置zk地址,调度任务的组名
        ZookeeperConfiguration zookeeperConfiguration = new ZookeeperConfiguration(host, namespace);
        zookeeperConfiguration.setSessionTimeoutMilliseconds(100);
        CoordinatorRegistryCenter regCenter = new ZookeeperRegistryCenter(zookeeperConfiguration);
        regCenter.init();
        return regCenter;
    }
}

JobConfiguration

  • springJobScheduler方法初始化则开始定时操作,在启动类启动的时候则开始了!
@Configuration
public class JobConfiguration {

    @Autowired
    private CoordinatorRegistryCenter coordinatorRegistryCenter;

    @Bean(initMethod = "init")
    public SpringJobScheduler springJobScheduler(MyElasticJob elasticJob){
//        1 执行逻辑操作的类  2 zookeeper配置类的方法  3 定时多久执行业务操作的方法
        return new SpringJobScheduler(elasticJob,coordinatorRegistryCenter,createJobConfiguration(MyElasticJob.class,"0/3 * * * * ?"));
    }

    private static LiteJobConfiguration createJobConfiguration(Class clz,String cron) {
        // 定义作业核心配置
        JobCoreConfiguration simpleCoreConfig = JobCoreConfiguration.newBuilder(clz.getSimpleName(),cron,1).build();
        // 定义SIMPLE类型配置
        SimpleJobConfiguration simpleJobConfig = new SimpleJobConfiguration(simpleCoreConfig, clz.getClass().getCanonicalName());
        // 定义Lite作业根配置
        LiteJobConfiguration simpleJobRootConfig = LiteJobConfiguration.newBuilder(simpleJobConfig).overwrite(true).build();
        return simpleJobRootConfig;
    }
}

效果演示

在这里插入图片描述

  • 点击右上角的按钮,即可实现服务多开(开启以后,在application.yml更换端口继续再开)
    在这里插入图片描述
  • 一开始8081 在定时操作,8082无定时操作
    在这里插入图片描述
  • 当关掉8081的服务后,8082则开始接盘做定时操作逻辑
    在这里插入图片描述
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。 它通过弹性调度、资源管控、以及作业治理的功能,打造一个适用于互联网场景的分布式调度解决方案,并通过开放的架构设计,提供多元化的作业生态。 它的各个产品使用统一的作业 API,开发者仅需一次开发,即可随意部署。 使用 ElasticJob 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求,使他们能够更加专注于面向业务编码设计; 同时,它也能够解放运维工程师,使他们不必再担心任务的可用性和相关管理需求,只通过轻松的增加服务节点即可达到自动化运维的目的。 功能列表 1、弹性调度 支持任务在分布式场景下的分片和高可用 能够水平扩展任务的吞吐量和执行效率 任务处理能力随资源配备弹性伸缩 2、资源分配 在适合的时间将适合的资源分配给任务并使其生效 相同任务聚合至相同的执行器统一处理 动态调配追加资源至新分配的任务 3、作业治理 失效转移 错过作业重新执行 自诊断修复 4、作业依赖(TODO) 基于有向无环图(DAG)的作业间依赖 基于有向无环图(DAG)的作业分片间依赖 5、作业开放生态 可扩展的作业类型统一接口 丰富的作业类型库,如数据流、脚本、HTTP、文件、大数据等 易于对接业务作业,能够与 Spring 依赖注入无缝整合 6、可视化管控端 作业管控端 作业执行历史数据追踪 注册中心管理 环境要求: Java 请使用 Java 8 及其以上版本。 ZooKeeper使用 ZooKeeper 3.6.0 及其以上版本。 Mesos(仅 ElasticJob-Cloud 使用) 请使用 Mesos 1.1.0 及其兼容版本。
Spring Cloud是一套用于构建分布式系统的工具集,它提供了一系列的组件和库,可以帮助开发者快速搭建分布式架构。下面是基于Spring Cloud搭建分布式架构的步骤: 1. 注册中心:Spring Cloud提供了服务注册与发现的功能,可以使用Eureka、Consul、Zookeeper等作为注册中心。通过将所有微服务都注册到注册中心,其他微服务就可以通过注册中心来发现和调用。 2. 服务提供者与消费者:通过Spring Cloud的负载均衡和服务调用功能,我们可以轻松实现服务提供者和消费者的通信。服务提供者将自己的服务注册到注册中心后,消费者可以通过调用注册中心的接口来获取服务列表,并通过负载均衡策略选择一个提供者进行调用。 3. 断路器和降级:为了保证系统的稳定性,Spring Cloud提供了断路器和降级的支持。当某个服务不可用或超时时,断路器可以自动切断对该服务的调用,并返回预先设定的默认值或执行降级逻辑,避免级联故障。 4. 配置中心:Spring Cloud提供了分布式配置中心,可以将配置文件集中管理,并在所有微服务中进行统一的快速更新和下发。通过配置中心,可以实现对不同环境的配置分离和动态更新。 5. 网关和路由:Spring Cloud Gateway和Zuul都是Spring Cloud提供的网关组件,可以用于统一管理和转发微服务的请求。通过配置路由规则,可以实现请求的转发、限流、鉴权等功能,提供更加灵活和安全的访问控制。 通过以上步骤,我们可以基于Spring Cloud搭建一个完整的分布式架构。它帮助我们简化了分布式系统的开发和部署,提供了许多功能模块,包括服务注册与发现、服务调用、断路器和降级、配置中心、网关和路由等。这使得我们可以更加方便地构建和管理分布式系统,提高开发效率和系统的可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值