Kubernetes-Informer学习笔记-1

最新推荐文章于 2024-08-23 17:47:21 发布
最新推荐文章于 2024-08-23 17:47:21 发布
阅读量288 收藏
点赞数
分类专栏： kubernetes 文章标签： kuberntes informer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Free_time_/article/details/110422228
版权

List-Watch机制

  • List：全量事件
  • Watch：增量事件

两者结合可以保证消息的可靠性、实时性、高性能。如果纯使用List也能获取所有事件，但是这会对ApiServer造成很大的压力，也很难满足实时性！

K8s每个资源的ResourceVersion

k8s的每个资源都会带有resourceVersion字段，数字递增

Informer

  • clinet-go中的一个核心工具包，List/Get k8s中的所有Object
  • Informer会自己维护一个缓存，以便更快的返回资源信息
  • Informer只会调用k8s的List、Watch两种API
  • 可监听事件并触发回调函数
    Informer中可以添加自定义的回调函数：OnAdd()、OnUpdate()、OnDelete()，在Controller的设计实现中，会经常用到Informer这个功能

在这里插入图片描述

  1. Informer在初始化时，会先调用List获取所有资源（仅调用1次）
  2. 将List得到的资源全部写入本地缓存
  3. Watch Kubernetes Api资源，维护本地缓存

DeltaFIFO：存储Informer Watch返回的各种事件

LocalStore：只会被Lister的List/Get方法访问

DeltaFIFO和LocalStore之间存在resync机制！！！

【云原生进阶之容器】第二章Controller Manager原理2.4节--Informer机制剖析
junbaozi的专栏
01-05 671
client-go 包中一个非常核心的工具就是 informer，informer 可以让与 kube-apiserver 的交互更加优雅。Informer 另外一块内容在于提供了事件 handler 机制，并会触发回调，这样 Controller 就可以基于回调处理具体业务逻辑。
深度学习算法informer（时序预测）（七）（模型训练、验证、测试）
weixin_43336108的博客
06-21 439
模型训练、验证、测试。
Informer笔记
Data _designer
03-08 717
已有研究及存在的问题：Transformer时间复杂性，高内存占用（由于Self Attention的点积），固有的encoder-decoder缺陷（需要进行Encoder和Decoder的叠加） 导致无法进行Long Sequence Prediction，Step-by-Step预测（Decoder需要step生成新的Hidden State） 作者对应提出的措施：ProbSparse Self Attention Mechanism；Self Attention Distilling；一次性预测而
深度学习算法informer（时序预测）（六）（数据处理、自注意力、自适应调节学习率、早停法）
weixin_43336108的博客
06-21 584
在每个epoch结束时，根据当前的epoch和设定的调整策略，更新优化器的学习率。目的是在验证损失不再显著改善时提前停止训练，从而防止过拟合。它会在每个epoch结束后调用，检查当前的验证损失是否改善。，特征值只有温度，解码器的输入与编码器的输入不同，将。编码器的输入倒数12个时间点。编码器最后12个时间点。
深度学习算法informer（时序预测）（一）（数据编码讲解）
weixin_43336108的博客
06-18 4093
informer时序数据编码
深度学习（19）——informer 详解（1）
羊羊的博客
04-10 5183
transformer 长时间序列预测
Kubernetes 和 Kubeflow 学习笔记
不是很呆D
10-15 1681
Kubeflow是Kubernetes的机器学习工具包。Kubeflow是运行在K8S之上的一套技术栈，这套技术栈包含了很多组件，组件之间的关系比较松散，我们可以配合起来用，也可以单独用其中的一部分。下图是官网显示Kubeflow作为在Kubernetes上安排ML系统组件的平台：当我们开发和部署ML系统时，ML工作流程通常包括几个阶段。开发ML系统是一个反复的过程。我们需要评估ML工作流各个阶段的输出，并在必要时对模型和参数进行更改，以确保模型不断产生所需的结果。
图解kubernetes中informer机制基础设计原理
8小时_公共号:图解源码
03-09 393
kubernetes中的informer机制可能是实现集群控制模块的最核心的设计之一了，本文从informer如何获取数据开始,然后介绍了为了减少apiserver而设计的缓存、索引、无界队列、共享informer等机制欢迎一起交流学习 1. informer的本质 1.1 设计目标 之前说到kubernetes里面的apiserver的只负责数据的CRUD接口实现，并不负责业务逻辑的处理，所以...
华为云云原生王者之路钻石集训营--学习笔记
MINGSON666的博客
08-15 968
目录 云原生钻石课程开篇直播 容器运行时技术深度剖析 Kubernetes技术架构深度剖析 Kubernetes高级调度器原理详解 Kubernetes存储架构原理深度剖析（上） Kubernetes存储架构原理深度剖析（下） Kubernetes网络架构原理深度剖析（上） Kubernetes网络架构原理深度剖析（下） Kubernetes运维管理详解（上） Kubernetes运维管理详解（下） Kubernetes安全权限管理深度剖析 Kubernetes应用管理深度剖析 I
Go语言学习笔记：深入理解k8s-client-go的informer机制
资源摘要信息:"基于golang对k8s-client-go中的informer机制的学习.zip" Go语言是一门由Google设计和开发的编程语言，旨在解决软件开发中的效率和并发问题。它以其简洁性、高性能、并发性、安全性、丰富的标准库、跨...
Kubernetes Informer 详解
纵横四海的博客
10-15 2313
Informer 简介这边文章只是个人爱好转载，不提供任何的意见和建议Informer 基础功能Informer 是 Client-go 中的一个核心工具包。在 Kubernetes 源码中，如果 Kubernetes 的某个组件，需要 List/Get Kubernetes 中的 Object，在绝大多 数情况下，会直接使用 Informer 实例中的 Lister()方法（该方法包含 了 Get
k8s List-Watch
国产-达芬奇
03-29 1955
k8s List-Watch k8s系统组件之间使用HTTP协议通信，使用HTTP协议实现这么复杂的系统功能，一定是有他的过人之处。 List-Watch,顾名思义，就是由List和Watch两部分组成，List就是普通的HTTP短链接，可以获取各种资源的列表数据。 而Watch则是通过调用资源的Watch API监听资源变更时间，基于HTTP长链接实现。 Informer封装了list-watch的API，用户需要指定资源，编写时间处理函数，Add...
k8s之listwatch与informer简单理解
fourierr的博客
01-18 4115
informer简介 Informer是一个能够缓存apiserver的对象到本地、具有索引机制、并可以注册 EventHandler 的 client。使用 informer 的目的是为了减轻 apiserver 数据交互的压力，其中本地缓存被称为 Store，索引被称为 Index。 Informer流程：informer的listandwatch机制，默认是每10h从apiserver中整体list一次，有add、delete等事件时会通过watch机制把这个事件+对象放到deltaFIFO中，然后
时间序列深度学习模型AAAI 2021论文之一Informer的主要代码解读、项目运作、自定义数据集使用
热门推荐
人生是一场修行
09-28 3万+
一、前言 本文章是对informer开源代码进行自定义数据集（就是如何修改代码以跑通自己的数据集，毕竟原代码仓库没有注释）的使用的代码修改和代码流程解释。 二、informer相关 论文：https://arxiv.org/abs/2012.07436 代码仓库：https://github.com/zhouhaoyi/Informer2020 简介：据网上说是被评为AAAI 2021最佳论文，其作者设计了一种专为LSTF （长序列时间序列预测）设计的基于Transformer的改进模型 Informer
【博客687】k8s informer的list-watch机制剖析
qq_43684922的博客
08-05 2297
client-go中的reflector模块首先会list apiserver获取某个资源的全量信息，然后根据list到的rv来watch资源的增量信息。希望使用client-go编写的控制器组件在与apiserver发生连接异常时，尽量的re-watch资源而不是re-list。
[golang]-通过informer来watch k8s资源变更
爷来辣的博客
04-18 429
与此同时，它创建了一个名为informer的Deployment Informer对象，并使用ResourceEventHandlerFuncs处理函数注册了一个回调函数，以接收 Deployment资源的事件通知，并记录这些事件。此示例使用了gin框架来实现基本的HTTP路由。最后，启动这个informer对象的goroutine，开始watch Deployment资源，并等待其缓存变得同步，在HTTP服务器之前完成。导语：记录一下使用informer来watch k8s资源变更。
informer+TCN+通道注意力机制+SSA时间序列模型预测
lxh1244607107的博客
08-23 2684
Informer 是一种用于时间序列预测的深度学习模型，特别适用于长序列的时间序列数据。它是基于 Transformer 结构的一种改进，主要解决了传统 Transformer 在处理长序列时计算复杂度高的问题。
【深度学习】——Informer模型
qq_48108092的博客
03-22 6920
Informer模型是一种用于时间序列预测的深度学习模型，由中国科学院自动化研究所的研究团队提出。与传统的RNN、LSTM、GRU等模型不同，Informer模型采用了一种新的注意力机制，能够很好地处理长期依赖和序列中的缺失值。
Informer(信息提取网络)实现时间序列预测(PyTorch版)
CSDN 精品推荐
04-26 5832
Informer是一种基于Transformer的时间序列预测模型，它能够有效地处理具有多种时间尺度和复杂性的时间序列数据。与传统的时间序列模型（如ARIMA、LSTM等）不同，Informer利用了Transformer的自注意力机制和多头注意力机制，能够同时捕捉全局和局部的时间相关性。
GAN-informer流程图
最新发布
04-28
GAN-Informer 结合了生成对抗网络（GAN）和 Informer 的特性，通常用于时间序列预测或其他复杂数据建模任务。以下是 GAN-Informer 架构的核心组成部分及其工作原理： ### GAN-Informer 架构概述 GAN-Informer 主要由两个核心模块组成：**生成器 (Generator)** 和 **判别器 (Discriminator)**，以及基于 Informer 的编码解码机制。 #### 1. Generator 生成器负责生成逼真的时间序列数据或特征表示。它利用 Informer 的高效注意力机制来捕捉长期依赖关系，并通过生成对抗训练优化其输出质量[^1]。 ```python class Generator(nn.Module): def __init__(self, input_dim, output_dim, d_model, n_heads, num_layers): super(Generator, self).__init__() self.encoder = Encoder(input_dim, d_model, n_heads, num_layers) self.decoder = Decoder(output_dim, d_model, n_heads, num_layers) def forward(self, x): encoded_x = self.encoder(x) generated_output = self.decoder(encoded_x) return generated_output ``` #### 2. Discriminator 判别器的作用是对真实数据和生成数据进行区分，从而指导生成器逐步提高生成能力。判别器同样采用 Informer 的架构设计，能够有效处理高维时间序列输入[^2]。 ```python class Discriminator(nn.Module): def __init__(self, input_dim, d_model, n_heads, num_layers): super(Discriminator, self).__init__() self.informer = Informer(input_dim, d_model, n_heads, num_layers) def forward(self, x): features = self.informer(x) validity = torch.sigmoid(features.mean(dim=-1)) return validity ``` #### 3. Training Process GAN-Informer 的训练过程遵循标准的 GAN 训练范式，即交替更新生成器和判别器参数。具体而言： - 判别器损失函数衡量其对真假样本分类的能力。 - 生成器损失函数则旨在欺骗判别器，使其无法分辨生成样本的真实性。 最终目标是最小化以下联合损失函数： \[ L_{total} = L_{discriminator} + \lambda \cdot L_{generator} \] 其中 \(L_{discriminator}\) 表示判别器损失，\(L_{generator}\) 表示生成器损失，而 \(\lambda\) 控制两者之间的平衡权重[^3]。 --- ### 流程图描述 由于当前环境不支持直接绘制图形，以下是 GAN-Informer 的逻辑流程文字说明： 1. 输入历史时间序列数据至生成器； 2. 生成器基于 Informer 编码解码框架生成伪时间序列数据； 3. 将生成的时间序列与真实数据一同送入判别器； 4. 判别器评估每组数据的真实概率； 5. 更新生成器和判别器参数以最小化各自的目标损失函数。 如果需要更直观的理解，建议查阅相关论文中的插图或开源实现文档[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值