XXL-JOB

最新推荐文章于 2024-04-29 22:16:01 发布
最新推荐文章于 2024-04-29 22:16:01 发布
阅读量4.7k 收藏 28
点赞数 30
分类专栏： java开发 文章标签： java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CUITAO2305532402/article/details/113065959
版权

1.概述

 XXL-JOB 是一个轻量级 的 分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

开源社区：

https://www.xuxueli.com/xxl-job/#%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0XXL-JOB%E3%80%8B

参考资料：

《分布式任务调度平台 XXL-JOB 官方文档》一文读懂分布式任务调度平台XXL-JOB

2.特性 

XXL-JOB 提供了 35 点特性列表，我们将其重新整理如下：

① 功能强大

  • 1、简单：支持通过 Web 页面对任务进行 CRUD 操作，操作简单，一分钟上手；
  • 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
  • 3、事件触发：除了”Cron 方式”和”任务依赖方式”触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的 API 服务，可根据业务事件灵活触发。
  • 4、GLUE：提供 Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持 30 个版本的历史版本回溯。 
  • 5、脚本任务：支持以 GLUE 模式开发和运行脚本任务，包括 Shell、Python、NodeJS、PHP、PowerShell 等类型脚本;
  • 6、支持通过命令行任务：原生提供通用命令行任务 Handler（Bean任务，”CommandJobHandler”）；业务方只需要提供命令行即可；
  • 7、支持任务间的依赖触发：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
  • 8、自定义任务参数：支持在线配置调度任务入参，即时生效；
  • 9、跨平台：原生提供通用 HTTP 任务Handler（Bean 任务，”HttpJobHandler”）；业务方只需要提供 HTTP 链接，调度方直接调用即可，不限制语言、平台；

  • ② 高性能

  • 1、分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
  • 2、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
  • 3、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
  • 4、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
  • 5、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入 ”Slow” 线程池，避免耗尽调度线程，提高系统稳定性；

  • ③ 高可用

  • 1、调度中心 HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心 HA；
  • 2、执行器 HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行 HA；
  • 3、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
  • 4、故障转移：任务路由策略选择”故障转移”情况下，如果执行器集群中某一台机器故障，将会自动 Failover 切换到一台正常的执行器发送调度请求。
  • 5、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
  • 6、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
  • 7、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
  • 8、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；

  • ④ 监控治理

  • 1、注册中心: 执行器会周期性自动注册任务到调度中心, 调度中心将会自动发现注册的任务并让调度器去触发执行。同时，也支持手动录入执行器地址；
  • 2、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
  • 3、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
  • 4、任务进度监控：支持实时监控任务进度；
  • 5、Rolling 实时日志：支持在线查看调度结果，并且支持以 Rolling 方式实时查看执行器输出的完整的执行日志；
  • 6、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
  • 7、推送 Maven 中央仓库: 将会把最新稳定版推送到 Maven 中央仓库, 方便用户接入和使用;
  • 8、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
  • 9、容器化：提供官方 Docker 镜像，并实时更新推送 Docker Hub，进一步实现产品开箱即用；
  • 10、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
  • 11、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

3. 架构设计

3.1 设计思想

  • 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。
  • 将任务抽象成分散的 JobHandler ，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的 JobHandler中 业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性。

如果胖友对分布式任务调度平台有一定了解的话，如果从调度系统的角度来看，可以分成两类：

  • 中心化： 调度中心和执行器分离，调度中心统一调度，通知某个执行器处理任务。
  • 去中心化：调度中心和执行器一体化，自己调度自己执行处理任务。

如此可知 XXL-Job 属于中心化的任务调度平台。目前采用这种方案的还有：

  • 链家的 kob
  • 美团的 Crane（暂未开源）

去中心化的任务调度平台，目前有：

3.2 系统组成

整个 XXL-JOB 系统，由调度中心和执行器两个角色组成，分别处于不同的进程中。

调度中心

  • 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。
  • 调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块。
  • 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除， GLUE 开发和任务报警等，所有上述操作都会实时生效。
  • 支持监控调度结果以及执行日志，支持执行器 Failover 。

执行器

  • 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效。
  • 接收“调度中心”的执行请求、终止请求和日志请求等。

一般来说，XXL-JOB 执行器可以内嵌到应用服务里。例如说，一个提供 Restful API 的 Spring Boot 项目中，引入 xxl-job-core 依赖，同时也作为一个 XXL-JOB 执行器。😈 本质上，每次 Restful API 是请求任务，而每次任务调度是定时任务。

3.3 架构图

整体架构如下图所示：

 

注意，【】 中填写调度中心和执行器；[] 中填写组件名。

  • 注意，左边是调度中心，右边是执行器。
  • [执行器]：[注册线程] 根据配置的【调度中心】的地址，自动注册到【调度中心】。
  • [调度中心]：达到任务触发条件，【调度中心】通过调度器下发任务给【执行器】。
  • [执行器]：基于 [任务线程池] 执行任务，并把执行结果放入 [内存队列] 中、把 [执行日志] 写入 Log 日志文件中。
  • [执行器]：[回调线程] 消费 [内存队列] 中的调度结果，主动上报给[调度中心]。
  • 当用户在[度中心]查看 [Rolling 任务日志]，[调度中心] 请求 [执行器]，[执行器]读取 Log 日志文件并返回日志详情。

3.4 高可用

XXL-JOB 的高可用，需要考虑调度中心的高可用、以及执行器的高可用。

注意，虽然说 XXL-JOB 执行的是后台任务，即使挂掉，用户的感知度也比较低，但是考虑高可用是一种良好的习惯，在高性能之前请做好高可用。

3.4.1 调度中心的高可用

调度中心支持多节点部署，基于数据库行锁，保证触发器的名称和执行时间相同，则只且仅有一个调度中心节点去下发任务给执行器。

核心代码可见 XXL-JOB 的 JobScheduleHelper#start() 方法：

 

// JobScheduleHelper.java

// 获得行锁
conn = XxlJobAdminConfig.getAdminConfig().getDataSource().getConnection();
connAutoCommit = conn.getAutoCommit();
conn.setAutoCommit(false);
preparedStatement = conn.prepareStatement(  "select * from xxl_job_lock where lock_name = 'schedule_lock' for update" );
preparedStatement.execute();

// ...触发任务调度

// 事务提交
conn.commit();

 

  • 😈 XXL-JOB 的这块方法，小 200 行，有点头铁。

3.4.2 执行器的高可用

执行器支持多节点部署，通过调度中心选择其中的执行器，下发任务来执行。

当任务”路由策略”选择”故障转移(FAILOVER)”时，当调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定并发送调度请求。

① 路由策略

调度中心基于路由策略，选择一个执行器节点下发任务，从而让执行器执行任务。XXL-JOB 提供了如下路由策略保证任务调度高可用：

  • 忙碌转移(BUSYOVER)策略：当调度中心每次发起调度请求时，会按照顺序对执行器发出空闲检测请求，第一个检测为空闲状态的执行器将会被选定并发送调度请求。具体代码，见 ExecutorRouteFailover 类。
  • 故障转移(FAILOVER)策略：当调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定并发送调度请求。具体代码，见 ExecutorRouteFailover 类。

还有第一个(FIRST)、LAST(最后一个)、轮询(ROUND)、随机(RANDOM)、CONSISTENT_HASH(一致性 HASH)、最不经常使用(LEAST_FREQUENTLY_USED)、最近最久未使用(LEAST_RECENTLY_USED)、分片广播(SHARDING_BROADCAST)路由策略，胖友可以看看 com.xxl.job.admin.core.route.strategy/ 包下的代码。

严格来说，②、③、④ 不算实现执行器的高可用的点，列出来只是不知道放在哪里，又觉得用户需要了解。

② 阻塞处理策略

当调度过于密集时，执行器来不及处理时，则当执行器节点存在多个相同任务编号的任务未执行完成，则需要基于阻塞处理策略对任务进行取舍：

  • 单机串行（默认）：调度请求进入单机执行器后，调度请求进入 FIFO 队列并以串行方式运行。
  • 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败。
  • 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务。

具体可见 ExecutorBizImpl#run() 方法的代码。

③ 故障转移 & 失败重试

一次完整任务流程包括”调度（调度中心） + 执行（执行器）”两个阶段。

  • “故障转移”发生在调度阶段，在执行器集群部署时，如果某一台执行器发生故障，该策略支持自动进行 Failover 切换到一台正常的执行器机器并且完成调度请求流程。
  • “失败重试”发生在”调度 + 执行”两个阶段，支持通过自定义任务失败重试次数，当任务失败时，将会按照预设的失败重试次数主动进行重试。

④ 任务超时时间

支持设置任务超时时间，任务运行超时的情况下，将会主动中断任务。

需要注意的是，任务超时中断时与任务终止机制类似，也是通过 “interrupt” 中断任务，因此业务代码需要将 InterruptedException 外抛，否则功能不可用。

3.5 同类框架比较

特性quartzelastic-job-litexxl-jobLTS
依赖MySQL、jdkjdk、zookeepermysql、jdkjdk、zookeeper、maven
高可用多节点部署，通过竞争数据库锁来保证只有一个节点执行任务通过zookeeper的注册与发现，可以动态的添加服务器基于竞争数据库锁保证只有一个节点执行任务，支持水平扩容。可以手动增加定时任务，启动和暂停任务，有监控集群部署,可以动态的添加服务器。可以手动增加定时任务，启动和暂停任务。有监控
任务分片×√√√
管理界面×√√√
难易程度简单简单简单略复杂
高级功能-弹性扩容，多种作业模式，失效转移，运行状态收集，多线程处理数据，幂等性，容错处理，spring命名空间支持弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布）,任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化支持spring，spring boot，业务日志记录器，SPI扩展支持，故障转移，节点监控，多样化任务执行结果支持，FailStore容错，动态扩容。
版本更新半年没更新2年没更新

最近有更新

1年没更新

也推荐看看如下文章：

4. 搭建调度中心

本小节，我们来搭建一个调度中心。XXL-JOB 暂未提供直接直接启动的 jar 包，所以需要自己编译源码。

考虑到降低大家的学习成本，我们使用 IDEA 进行操作。

4.1 克隆源码

使用 IDEA ，从码云 https://gitee.com/xuxueli0323/xxl-job 克隆源码。从码云克隆的原因是，速度比较快。

如果胖友想直接下载源码，可以到 XXL-JOB Releases 下载需要的版本。

克隆完成后，耐心等待下载完依赖。完成后，整体项目结构如下图：项目结构

  • xxl-job-core 模块：XXL-JOB 核心。后续我们在编写执行器时，会引入该模块。
  • xxl-job-admin 模块：调度中心。
  • xxl-job-executor-samples 模块：提供了在 Spring、Spring Boot、JFinal、Nutz 等框架下的使用示例。

这里，我们需要编译的主要是 xxl-job-admin 模块，即调度中心。

4.2 初始化 XXL-JOB 表结构

在 doc/db/tables_xxl_job.sql 地址，是 XXL-JOB 表结构的初始化脚本。我们需要在数据库中执行该脚本，完成初始化 XXL-JOB 表结构。如下图所示：XXL-JOB 表结构

  • xxl_job_lock：任务调度锁表；
  • xxl_job_group：执行器信息表，维护任务执行器信息；
  • xxl_job_info：调度扩展信息表： 用于保存 XXL-JOB 调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；
  • xxl_job_log：调度日志表： 用于保存 XXL-JOB 任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；
  • xxl_job_log_report：调度日志报表：用户存储 XXL-JOB 任务调度日志的报表，调度中心报表功能页面会用到；
  • xxl_job_logglue：任务GLUE日志：用于保存 GLUE 更新历史，用于支持 GLUE 的版本回溯功能；
  • xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
  • xxl_job_user：系统用户表；

自 XXL-JOB 2.1.0 Release 版本，去除对 Quartz 的依赖，所以我们就看不到 Quartz 相关的表哈。

4.3 修改配置文件

打开 xxl-job-admin 模块，修改 src/main/resources/application.properties 配置文件。如下：

 

### web # Web 服务器
server.port=8080
server.context-path=/xxl-job-admin

### actuator
management.context-path=/actuator
management.health.mail.enabled=false

### resources
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/

### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########

### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml

### xxl-job, datasource 调度中心 JDBC 链接
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

spring.datasource.type=org.apache.tomcat.jdbc.pool.DataSource
spring.datasource.tomcat.max-wait=10000
spring.datasource.tomcat.max-active=30
spring.datasource.tomcat.test-on-borrow=true
spring.datasource.tomcat.validation-query=SELECT 1
spring.datasource.tomcat.validation-interval=30000

### xxl-job email 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token 调度中心通讯TOKEN [选填]：非空时启用；调度中心国际化配置 [选填]： 默认为空，表示中文; "en" 表示英文；
xxl.job.accessToken=

### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=

## xxl-job, triggerpool max size 调度线程池最大线程配置
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### xxl-job, log retention days 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

 

可以看到 XXL-JOB 使用了 Spring Boot ，嘿嘿。配置项比较多，说下必须要改的项：

  • server.port ：XXL-JOB 调度中心的服务器地址。可以根据自己的需要，修改该端口。
  • spring.datasource ：XXL-JOB 调度中心的数据源地址，必须修改成自己准备提供给 XXL-JOB 的数据库地址。
  • spring.mail ：报警邮箱，生产环境下必须配置，不然定时任务执行报错都不知道，简直要命。😈 一般来说下，建议有时间的胖友，修改下 XXL-JOB 的源码，把钉钉告警接入。
  • xxl.job.accessToken ：调度中心通讯令牌，建议填写。虽然说，内网一般很安全，但是以防万一，并且又没啥成本，直接给整上。

4.4 修改日志配置文件

打开 xxl-job-admin 模块，修改 src/main/resources/logback.xml 配置文件。如下：

 

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">

    <contextName>logback</contextName>
    <property name="log.path" value="/data/applogs/xxl-job/xxl-job-admin.log"/>

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
    </appender>

    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>

</configuration>

 

  • 默认情况下，日志输出的地址是 /data/applogs/xxl-job/xxl-job-admin.log 。可以根据自己的需要，进行调整。

4.5 IDEA 启动调度中心

在开始编译源码之前，我们先直接使用 XxlJobAdminApplication 类，运行启动调度中心。这样，避免我们后面编译源码，进行打包查出来的 jar 包，结果配置文件不对的尴尬。

当看到如下日志，代表启动成功：

23:19:11.950 logback [main] INFO  o.a.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8080"]
23:19:12.026 logback [main] INFO  o.a.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
23:19:12.181 logback [main] INFO  o.s.b.c.e.t.TomcatEmbeddedServletContainer - Tomcat started on port(s): 8080 (http)

启动成功后，浏览器 http://127.0.0.1:8080/xxl-job-admin 地址，并使用默认 "admin/123456" 进行登录。如果登录成功，说明我们已经配置正确啦。

4.6 编译源码

# 进入 xxl-job-admin 模块根目录
$ cd /Users/yunai/Java/xxl-job2/

# 使用 Maven 打包指定 xxl-job-admin 模块，并忽略测试
$ mvn clean package -pl xxl-job-admin -am -DskipTests

打包完成后，在 xxl-job-admin/target/xxl-job-admin-2.1.2-SNAPSHOT.jar 地址下，就是我们要启动的 XXL-JOB 调度中心的 jar 包。

4.7 命令行启动调度中心

# 进入 xxl-job-admin jar 包所在目录
$ cd xxl-job-admin/target/

# 启动调度中心
$ jar -jar xxl-job-admin-2.1.2-SNAPSHOT.jar

当看到如下日志，代表启动成功：

23:19:11.950 logback [main] INFO  o.a.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8080"]
23:19:12.026 logback [main] INFO  o.a.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
23:19:12.181 logback [main] INFO  o.s.b.c.e.t.TomcatEmbeddedServletContainer - Tomcat started on port(s): 8080 (http)

启动成功后，浏览器 http://127.0.0.1:8080/xxl-job-admin 地址，并使用默认 "admin/123456" 进行登录。如果登录成功，说明我们已经配置正确啦。

另外，启动完成之后，记得去「用户管理」菜单，修改下管理员的密码哟，不然嘿嘿嘿。

4.8 搭建集群

艿艿：如果胖友仅仅是简单入门，这步为可选项。

在生产环境下，一定要部署 XXL-JOB 调度中心的集群，提升调度系统容灾和可用性。

调度中心集群部署时，几点要求和建议：

  • DB 配置保持一致；
  • 集群机器时钟保持一致（单机集群忽视）；
  • 推荐通过 Nginx 为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用 API 服务等操作均通过该域名进行。

另外，如果胖友想要使用 Docker 镜像方式搭建调度中心，可以自行参看 XXL-JOB 的官方文档。

 

 

5. 搭建执行器

在 《芋道 Spring Boot 定时任务入门》 的 「5. 快速入门 XXL-JOB」 小节，我们提供了如何在 Spring Boot 中，使用 XXL-JOB 执行器。嘻嘻。

666. 彩蛋

暂时木有彩蛋，后续在补充下我们对 XXL-JOB 的使用的最佳实践和改造。例如说：

  • 接入钉钉告警
  • 修改成 Spring Boot 2.X 版本
  • 监控 XXL-JOB 调度中心
  • 等等

建议的话，有时间在细细看看 《分布式任务调度平台 XXL-JOB 官方文档》 吧，查漏补缺，嘿嘿。

做个专注的工程师
关注
  • 30
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
爬取电影天堂
henusyb的博客
04-20 10万+
电影天堂爬虫之网页分析 from lxml import etree import requests BASE_DOMAIN = 'http://www.ygdy8.net' url = 'http://www.ygdy8.net/html/gndy/dyzz/index.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10....
SaltStack常用模块
热门推荐
yanghx2的博客
11-03 2万+
SaltStack常用模块 SaltStack模块介绍 Module是日常使用SaltStack接触最多的一个组件，其用于管理对象操作，这也是SaltStack通过Push的方式进行管理的入口，比如我们日常简单的执行命令、查看包安装情况、查看服务运行情况等工作都是通过SaltStack Module来实现的。 当安装好Master和Minion包后，系统上会安装很多Module，大家可以通过以下命令查看支持的所有Module列表： //查看所有module列表 [root@master ~]# salt m
88XX主题OS4.5
11-24
8800、8820主题，88XX主题OS4.5，运行速度超快
一文带你入门xxl-job
最新发布
ybealq的专栏
04-29 741
xxl-job-admin的集群就是启动多个xxl-job-admin服务节点，并且所有节点都共用一个数据库。客户端使用xxl-job的集群需要在配置文件中配置多个xxl-job-admin节点地址。5.启动 xxl-job-admin 之后访问地址，http://localhost:8080/xxl-job-admin/toLogin ，账号admin 密码123456。选择默认的自动注册。4.创建定时任务，@XxlJob特性中的value 在xxl-job-admin配置界面中用到。
Python爬取校花网，妈妈再也不会担心我不给她发女朋友照片了
weixin_34392435的博客
03-09 812
本文同步发表于我的微信公众号，扫一扫文章底部的二维码或在微信搜索 极客导航 即可关注，每个工作日都有文章更新。 一、概况 上一篇我们用一个表情网站入门了爬虫，爬了很多表情。今天我们继续在爬的路上，今天就爬个校花吧，毕竟妹子属于稀缺资源，要不妈妈总会问，你到底找不找女朋友了，爬点校花吧，以后跟妈妈聊天，可以哭着对她说，这就是我女朋友，漂亮吧~。行了，为了妈妈不担心，我们开始行动吧。 二、准备 在...
20211123-RK3399的Android10的原生编译2a
南岭笑笑生之家
11-23 1万+
CC [M] drivers/net/wireless/rockchip_wlan/rtl8723ds/core/rtw_mlme.o CC [M] drivers/net/wireless/rockchip_wlan/rtl8723cs/core/rtw_chplan.o CC [M] drivers/net/wireless/rockchip_wlan/rtl8821cs/core/rtw_ioctl_query.o CC [M] drivers/net/wireless/roc...
XXL-JOB简述
任我行哟的博客
12-28 3871
一：整体架构 XXL-JOB是一个分布式任务调度平台。它主要分为两部分：调度中心，任务执行器。 如下图 二：什么是任务执行器 上图1处MODULE，就是任务执行器，类似于我们基于@EnableScheduling 注解编写的定时任务代码。 三：什么是调度中心 上图1处MODULE，就是任务调度器器，可以将它比做Eureka，任务执行器将节点元数据信息注册到调度中心，由调度中心根据我们指定的策略去进行调度任务执行器执行定时任务代码。 四：如何使用XXLJOB 1、码云上down下代码 2、在项目的目录下
xxl-job适配达梦数据库
02-02
xxl-job适配达梦数据库（DM8），附带数据库脚本，用户名密码自行修改，SCHEMA=xxl_job
xxl-job-executor:与xxl-job-executor的集成
04-19
xxl-job-executor的gin中间件背景xxl-job-executor-go是xxl-job的golang执行器，可以独立运行，有时候我们要与项目或者框架（如:gin框架）集成起来合并为一个服务，本项目因此而生。执行器项目地址与gin集成示例...
将 xxl-job-admin、xxl-job-core、xxl-job-executor 的源码引入项目中.docx
07-03
xxl-job-admin 作为调度中心，有可视化的web管理界面，可将其作为一个模块以源码的方式引入到我们的项目中，我们可对其进行自定义的修改，但一般不需要；xxl-job-core 是 XXL-JOB的核心，绝大多数情况下我们不用对其...
python爬取电影天堂链接并调用迅雷下载
07-26
使用python获取电影天堂所有资源链接地址和下载地址，并调用迅雷下载
XXL-JOB分布式任务调度系统培训PPT
08-09
"XXL-JOB分布式任务调度系统培训PPT" XXL-JOB分布式任务调度系统是当前 Java 生态中的一种流行的分布式任务调度系统。它提供了多种功能特性，如支持 cron 表达式、支持多种任务类型、支持任务优先级、支持任务依赖...
xxl-job-nacos改造版
10-21
xxl-job改造使用nacos注册中心。 改造过程见https://blog.csdn.net/gsls200808/article/details/133956977 改造后，调度器使用执行器服务名即可找到执行器，... 文件夹里xxl-job-2.4.0 为调度器，xxl-job-demo为执行器
Nginx高级配置
Blog of Stevenux
01-06 2万+
一.状态页 Nginx 状态页类似于 apache 和 php 使用的状态页面，基于ngx_http_auth_basic_module 实现，在编译安装 nginx 的时候需要添加编译参数--with-http_stub_status_module， 否则配置完成之后监测会是提⽰语法错误。 server { server_name blog.suosuoli.cn; ...
JVM调优
menjiyufei的博客
05-24 1万+
1. JVM参数分类:共分为三种   标准参数: -开头,所有的Hotspot都支持   分标准参数: -X开头,特定版本Hotspot支持特定命令   不稳定: -XX开头,下个版本可能会取消     -XX:+PrintCommandLineFlags  打印虚拟机启动时带的命令行参数   &nbs...
八、基本数据类型内置方法
liu_sir1009的博客
04-05 1万+
一、数据类型 1.1定义 # 1、定义： # 1.1 整型int的定义 age=10 # 本质age = int(10) # 1.2 浮点型float的定义 salary=3000.3 # 本质salary=float(3000.3) # 注意：名字+括号的意思就是调用某个功能，比如 # print(...)调用打印功能 # int(...)调用创建整型数据的功能 # float(...)调用创建浮点型数据的功能 1.2类型转换 # 1、数据类型转换 # 1.1 int可以将由纯整数构成的字符串直
dSYM文件的汇编分析
宇仔TuT的博客
02-05 1万+
什么是dSYM文件？ 在项目开发当中我们经常需要分析crash log来追查线上Bug，其中我们会用到一个很重要的文件，叫做dSYM文件。 dSYM是内存地址与函数名，文件名，行号的映射表，一般用于崩溃日志分析。 大概长这样： <起始地址> <结束地址> <函数> [<文件名:行号>] 符号表文件.dSYM实际上是从Mach-O文件中抽取调试信息而得到的文件目录，实际用于保存调试信息的文件夹是DWARF Xcode编译项目后，我们会看到一个同名的 dSYM 文
Java--多线程
Youngzhou的博客
06-24 9922
//在学习多线程的过程中要知道每次的线程结果都可能不相同（和CPU的分配有关），要多运行几次找到规律 //关于多个线程操作一个对象和多个线程操作多个对象 –多线程操作一个对象就可以分享一个资源（多线程单个对象容易引发并发问题） 多线程操作多个对象（） 1.线程的定义（每个类后面可以加引号，个人习惯不同） 继承Thread方法实现多线程 实现Runnable接口实
xxl-job 使用
12-03
XXL-JOB是一款开源的分布式任务调度框架，它包含两个核心模块：xxl-job-admin和xxl-job-core。下面是使用XXL-JOB的步骤： 1. 下载并解压xxl-job-admin和xxl-job-core的压缩包。 2. 启动xxl-job-admin，进入xxl-job-admin的bin目录，执行start.sh（Linux/MacOS）或start.bat（Windows）。 3. 访问http://localhost:8080/xxl-job-admin/，使用默认的用户名和密码（admin/123456）登录xxl-job-admin。 4. 在xxl-job-admin中添加执行器，执行器是任务的运行环境，可以是本地JVM，也可以是远程服务器。添加执行器时需要填写执行器名称、执行器地址、执行器端口、执行器日志路径等信息。 5. 在xxl-job-admin中添加任务，任务是需要执行的具体业务逻辑。添加任务时需要填写任务名称、任务描述、Cron表达式、执行器选择、路由策略等信息。 6. 在xxl-job-admin中手动触发任务或等待任务按照Cron表达式自动触发。 除了以上步骤，XXL-JOB还支持任务的分片、任务的依赖、任务的超时控制等功能。如果需要使用这些高级功能，可以参考XXL-JOB的官方文档进行配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值