弹性资源组件集成系列(二)elastic-job集成弹性资源设计解释

已于 2024-09-02 16:25:42 修改
阅读量180 收藏
点赞数
分类专栏： 弹性资源组件k8s 源码原理分析系列-elasticjob3 文章标签： kubernetes 容器 云原生 分布式调度 elasticjob
于 2024-09-01 21:37:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szlhj/article/details/141788852
版权

 简介

        弹性组件集成有弹性需求的组件，为组件增加高弹性容量，规划集成datax，elastic-job，xxl-job，sentinel dashboard，dolphinscheduer，eventbridge

        elastic-job使用zookeeper实现分布式调度，支持分片，容错，但worker节点需预先启动，参与该作业的worker参与分片，节点规模需预先计算，启动相应数量的worker数

       弹性资源组件基于k8s的资源管理能力，动态申请资源，资源管理使用flink的声明式管理，集成组件声明需要资源数量，弹性资源组件的资源管理器先分片可用资源，若不足，计算并申请新的worker，worker启动注册资源，可用资源增加，资源管理器继续分配

       本文介绍弹性资源组件的集成架构设计，elastic-job分片集成弹性资源设计解释

关键词

参考资料

了解本专栏 订阅专栏 解锁全文 超级会员免费看
中间件XL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
分布式任务调度框架elastic-job-lite
05-18
- 定义作业类，实现`SimpleJob`接口或使用注解`@ElasticJob`。 - 在作业服务器上启动作业实例。 - 在调度服务器上设置调度规则。 - 监控作业执行情况，可以通过日志或注册中心查看。 5. **最佳实践** - 尽可能...
Java工具：定时任务工具Elastic-job的简单使用
05-02
Elastic-job由两个核心模块组成：Elastic-job-Lite和Elastic-job-Cloud，前者适用于轻量级的分布式任务调度，后者则为大规模云环境设计，提供更丰富的功能。 1. **Elastic-job-Lite**： - **基本概念**：Elastic-...
elastic-job-lite-console-2.1.4.tar.gz
11-15
- **Spring整合**：通过`@ElasticJob`注解实现Spring Bean的自动装配，简化开发流程。 - **任务定义**：自定义`com.dangdang.ddframe.job.api.JobType`，实现具体的作业逻辑。 - **监控与调试**：使用控制台监控...
elastic-job-1.0.5-with-dependencies
03-20
这意味着开发者可以快速地在项目中集成Elastic Job，进行分布式任务调度。 【标签】"elastic-job" 是关键词，代表了这个压缩包的主要内容是关于Elastic Job的。Elastic Job分为两个主要部分：Elastic Job-Lite和...
ElasticJob 中文文档.pdf
10-24
而 ElasticJob-Cloud 是在 ElasticJob-Lite 基础上进一步封装的云平台版本，支持在云计算环境下运行，并提供了资源管理、任务分发、弹性伸缩、监控等更多功能。 ElasticJob-Lite 中的核心组件包括： 1. Job...
k8s Helm
巧克力人生的博客
09-08 738
了解HelmHelm是kubernetes中查找、分享、构建应用的最佳方式。Helm是一个Kubernetes应用的包管理工具，用来管理chart(一种预先配置好的安装包资源)，有点类似于Ubuntu 的APT和CentOS/Rocky中的YUM。因此，helm的出现解决了k8s应用管理能力缺失的问题。另外Helm也是dev和ops的桥梁，运维人员在使用Helm的时候，一方面不需要理解大量在Chart中的各种k8s元素，只需要配置少量的环境变量即可安装;
StreamPark集成k8s运行Flink
weixin_45249411的博客
09-08 184
1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)
day43(9/4)——k8s
wh992610的博客
09-05 834
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers # 指定了Kubernetes使用的镜像仓库的地址，阿里云的镜像仓库。net.bridge.bridge-nf-call-ip6tables = 1 # ⽤于控制⽹络桥接（bridge）的IP6tables过滤规则。net.ipv4.conf.all.route_localnet = 1 # 允许本地⽹络上的路由。
k8s多master多node环境搭建-k8s版本大于等于1.24，容器运行时为containerd
看到代码头都是大的~
09-04 1074
等待安装完成，需要一段时间（和服务器网络等因素相关）侧而是在k8s创建pod是否可以正常访问网络。3.配置containerd镜像加速器。1.安装containerd指定版本。master1节点执行传输。2.crictl文件生成。
k8s HPA
巧克力人生的博客
09-07 347
HPA可以基于CPU利用率对replication controller、deployment和replicaset中的pod数量进行自动扩缩容（除了CPU利用率，也可以基于其他应用程序提供的度量指标custom metrics进行自动扩缩容）。将image: k8s.gcr.io/metrics-server/metrics-server:v0.6.2 修改为 image: aminglinux/metrics-server:v0.6.2。pod自动缩放不适用于无法缩放的对象，比如daemonsets。
经验笔记：自动化工具（如Kubernetes）（K8S）
qq_45831414的博客
09-04 517
Kubernetes是一个开源平台，旨在自动化容器化应用的部署、扩展和管理。它通过声明式的方式定义应用程序的状态，并确保集群按照这些定义来运行。Kubernetes的设计目标是为了简化在分布式系统中部署、维护和扩展容器化应用的过程。
【Kubernetes 】k8s常用单词
翡翠泪滴的博客
09-03 649
Kubernetes 是一个用于自动化部署、扩展和管理容器化应用的开源系统。在 Kubernetes (通常简称为 k8s) 集群调度中，有一些关键的概念和技术术语需要了解。这些术语构成了 Kubernetes 的基础概念，理解它们对于操作和管理 Kubernetes 集群至关重要。了解这些术语有助于更好地理解和配置 Kubernetes 集群的调度策略，从而更有效地管理和优化资源。
14.2 k8s中我们都需要监控哪些组件
福大大架构师每日一题
09-08 543
指标类型采集源应用举例发现类型grafana截图容器基础资源指标kubelet 内置cadvisor metrics接口查看容器cpu、mem利用率等k8s_sd node级别直接访问node_ip容器基础资源k8s对象资源指标(简称ksm)具体可以看看pod状态如pod waiting状态的原因数个数如：查看node pod按namespace分布情况通过coredns访问域名k8s对象资源指标k8s服务组件指标服务组件 metrics接口。
kubeadm 初始化 k8s 证书过期解决方案
Richardlygo的博客
09-08 193
在使用 kubeadm 初始化的 Kubernetes 集群中，默认情况下证书的有效期为一年。当证书过期时，集群中的某些组件可能会停止工作，导致集群不可用。本文将详细介绍如何解决 kubeadm 初始化的 Kubernetes 集群证书过期的问题，并提供一种实用的方法来延长证书的有效期。
gitlab+habor+jenkins+k8s 安装流程及配置实现CICD
最新发布
xfp5158的博客
09-08 202
以上是一个基本的安装流程及配置实现CICD的步骤，实际的操作可能会因环境和需求的不同而有所差异。请注意确认各组件的版本和依赖关系，以确保安装和配置的顺利进行。
【Kubernetes知识点问答题】资源配额 / 访问控制
Songyaxuan075118的博客
09-06 868
ResourceQuota Service Account Role ClusterRole NetworkPolicy 在 K8s 中控制跨 Namespace 的 Pod 访问的方式 跨 Namespace 的 Pod 访问
CentOS7单机环境安装k8s集群
benarchen 的博客
09-04 1845
这份操作手册记录了如何在单机环境下搭建 Kubernetes (K8s) 集群的步骤。内容涵盖了从安装必要的依赖软件、配置网络环境，到使用 kubeadm 初始化集群的全过程。手册还介绍了如何配置 Flannel 网络插件、管理节点及 Pod 的调度策略，并处理常见的安装与配置问题。通过这些步骤，用户可以在本地成功搭建并运行一个功能齐全的 K8s 集群，适合学习与测试 Kubernetes 的使用与管理。
在OpenEuler(欧拉)系统上用kubeadm部署（k8s）Kubernetes集群
Richardlygo的博客
09-07 1018
一、OpenEuler(欧拉) 系统简介openEuler 是开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目；openEuler作为一个操作系统发行版平台，每两年推出一个LTS版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。具体的介绍可以参考官网https://www.openeuler.org/zh/二、Kubernetes 1.24版本发布及改动。
zabbix6.4配置监控k8s 1.28集群
zhangpfly的博客
09-03 1275
zabbix6.4配置监控k8s集群
Elastic-Job开发指南：分布式调度与SpringBatch集成
"Elastic-job是一个由当当网开源的分布式任务调度框架，它基于quartz，并提供了两种主要的开发流程：DataflowJob和SimpleJob。以下是详细的开发步骤和配置过程。 1. 方式一：使用DataflowJob 在开发过程中，你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中间件XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值