首发｜Clusterpedia 0.1.0 四大重要功能

于 2022-03-01 14:02:20 发布
阅读量432 收藏
点赞数
文章标签： kubernetes linux nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DaoCloud_daoke/article/details/123204478
版权

Clusterpedia 第一个版本 -- Clusterpedia 0.1.0 正式发布，即日起进入版本迭代阶段。相比于初期的 0.0.8 和 0.0.9-alpha，0.1.0 添加了很多功能，并且做了一些不兼容的更新。

如果由 0.0.9-alpha 升级的话，可以参考 Upgrade to Clusterpedia 0.1.0

https://clusterpedia.io/blog/2022/02/15/upgrade-to-clusterpedia-0.1.0/

01

重要功能

我们先介绍一下在 0.1.0 中增加的四大重要的功能：

  • 对 Not Ready 的集群进行资源检索时，增加了 Warning 提醒

  • 增强了原生 Field Selector 的能力

  • 根据父辈或者祖辈的 Owner 来进行查询

  • 响应数据携带 remaining item count

资源检索时的 Warning 提醒

集群由于某些原因处于非 Ready 的状态时，资源通常也无法正常同步，在获取到该集群内的资源时，会通过 Warnning 提醒来告知用户集群异常，并且获取到的资源可能并不是实时准确的。

$ kubectl get pediaclusterNAME        APISERVER                   VERSION   STATUScluster-1   https://10.6.100.10:6443    v1.22.2   ClusterSynchroStop
$ kubectl --cluster cluster-1 get podsWarning: cluster-1 is not ready and the resources obtained may be inaccurate, reason: ClusterSynchroStopCLUSTER     NAME                                                 READY   STATUS      RESTARTS   AGEcluster-1   fake-pod-698dfbbd5b-64fsx                            1/1     Running     0          68dcluster-1   fake-pod-698dfbbd5b-9ftzh                            1/1     Running     0          39dcluster-1   fake-pod-698dfbbd5b-rk74p                            1/1     Running     0          39dcluster-1   quickstart-ingress-nginx-admission-create--1-kxlnn   0/1     Completed   0          126d

强化 Field Selector

原生 kubernetes 对于 Field Selector 的支持非常有限，默认只支持 metadata.namespace 和 metadata.name 字段的过滤，尽管一些特定的资源会支持一些特殊的字段，但是使用起来还是比较局限，操作符只能支持 =, ==, !=。

# kubernetes/pkg$ grep AddFieldLabelConversionFunc . -r./apis/core/v1/conversion.go:   err := scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Pod"),./apis/core/v1/conversion.go:   err = scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Node"),./apis/core/v1/conversion.go:   err = scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("ReplicationController"),./apis/core/v1/conversion.go:   return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Event"),./apis/core/v1/conversion.go:   return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Namespace"),./apis/core/v1/conversion.go:   return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Secret"),./apis/certificates/v1/conversion.go:   return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("CertificateSigningRequest"),./apis/certificates/v1beta1/conversion.go:      return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("CertificateSigningRequest"),./apis/batch/v1/conversion.go:  return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Job"),./apis/batch/v1beta1/conversion.go:             err = scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind(kind),./apis/events/v1/conversion.go: return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Event"),./apis/events/v1beta1/conversion.go:    return scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("Event"),./apis/apps/v1beta2/conversion.go:      if err := scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("StatefulSet"),./apis/apps/v1beta1/conversion.go:      if err := scheme.AddFieldLabelConversionFunc(SchemeGroupVersion.WithKind("StatefulSet"),

Clusterpedia 在兼容原生 Field Selector 的基础上，不仅仅支持了更加灵活的字段过滤，还支持和 Label Selector 相同的操作符：!, =, !=, ==, in, notin。

例如我们可以像 label selector 一样，通过 annotations 过滤资源。

kubectl get deploy --field-selector="metadata.annotations['test.io'] in (value1, value2)"

更多详情

https://clusterpedia.io/zh-cn/docs/usage/search/multi-cluster/#%E5%AD%97%E6%AE%B5%E8%BF%87%E6%BB%A4

根据父辈或者祖辈 Owner 进行查询

Kubernetes 资源之间通常会存在一种 Owner 关系, 例如

apiVersion: v1kind: Podmetadata:  ownerReferences:  - apiVersion: apps/v1    blockOwnerDeletion: true    controller: true    kind: ReplicaSet    name: fake-pod-698dfbbd5b    uid: d5bf2bdd-47d2-4932-84fb-98bde486d244

Clusterpedia 不仅支持根据 Owner 查询，还支持对 Owner 进行辈分提升来根据祖辈或者更高辈分的 Owner 来检索资源。

例如可以通过 Deployment 获取相应的所有 pods。

当前暂时只支持通过 Owner UID 来查询资源, 使用 Owner Name 来进行查询的功能尚在讨论中，可以在 issue: Support for searching resources by owner 参与讨论。

$ DEPLOY_UID=$(kubectl --cluster cluster-1 get deploy fake-deploy -o jsonpath="{.metadata.uid}")$ kubectl --cluster cluster-1 get pods -l \    "internalstorage.clusterpedia.io/owner-uid=$DEPLOY_UID,\     internalstorage.clusterpedia.io/owner-seniority=1"

更多详情

https://clusterpedia.io/zh-cn/docs/usage/search/multi-cluster/#%E6%A0%B9%E6%8D%AE%E7%88%B6%E8%BE%88%E4%BB%A5%E5%8F%8A%E7%A5%96%E8%BE%88-owner-%E6%9F%A5%E8%AF%A2

响应数据内携带剩余资源数量

在一些 UI 场景下，往往需要获取当前检索条件下的资源总量。

Kubernetes 响应的 ListMeta 中 RemainingItemCount 字段表示剩余的资源数量。

type ListMeta struct {    ...
        // remainingItemCount is the number of subsequent items in the list which are not included in this        // list response. If the list request contained label or field selectors, then the number of        // remaining items is unknown and the field will be left unset and omitted during serialization.        // If the list is complete (either because it is not chunking or because this is the last chunk),        // then there are no more remaining items and this field will be left unset and omitted during        // serialization.        // Servers older than v1.15 do not set this field.        // The intended use of the remainingItemCount is *estimating* the size of a collection. Clients        // should not rely on the remainingItemCount to be set or to be exact.        // +optional    RemainingItemCount *int64 `json:"remainingItemCount,omitempty" protobuf:"bytes,4,opt,name=remainingItemCount"`}

复用 ListMeta.RemainingItemCount，通过简单计算便可以获取当前检索条件下的资源总量: total = offset + len(list.items) + list.metadata.remainingItemCount

该功能需要搭配分页功能一起使用

$ kubectl get --raw="/apis/clusterpedia.io/v1beta1/resources/apis/apps/v1/deployments?withRemainingCount&limit=1" | jq{  "kind": "DeploymentList",  "apiVersion": "apps/v1",  "metadata": {    "remainingItemCount": 24  },  "items": [    ...  ]}

更多详情

https://clusterpedia.io/zh-cn/docs/usage/search/multi-cluster/#%E5%93%8D%E5%BA%94%E6%90%BA%E5%B8%A6%E5%89%A9%E4%BD%99%E8%B5%84%E6%BA%90%E6%95%B0%E9%87%8F%E4%BF%A1%E6%81%AF

02

更新总览

  • 用于资源检索的 pedia.clusterpedia.io/v1alpha1 更改为 clusterpedia.io/v1beta1 (https://github.com/clusterpedia-io/clusterpedia/pull/73)

  • 优化了 PediaCluster 结构, 并且将 clusters.clusterpedia.io/v1alpha1 组更改为 cluster.clusterpedia.io/v1alpha2 (https://github.com/clusterpedia-io/clusterpedia/pull/27; https://github.com/clusterpedia-io/clusterpedia/pull/67; https://github.com/clusterpedia-io/clusterpedia/pull/76; https://github.com/clusterpedia-io/clusterpedia/pull/74; https://github.com/clusterpedia-io/clusterpedia/pull/78)

  • 支持自定义资源的收集和搜索 (https://github.com/clusterpedia-io/clusterpedia/pull/10)

  • 将插入到资源中的集群信息由 labels 移动到 annotations 中 (https://github.com/clusterpedia-io/clusterpedia/pull/37)

  • 添加了存储组件 postgres 的部署 yaml

APIServer

  • 支持响应数据携带 RemainingItemCount 和 Continue 字段 (https://github.com/clusterpedia-io/clusterpedia/pull/33)

  • 增强了对 Field Selector 支持，在兼容原生 Field Selector 的同时，还支持和 Label Selector 相同的复杂操作符 (https://github.com/clusterpedia-io/clusterpedia/pull/36)

  • 指定查询未同步异常的集群内的资源时增加了 Warning 提醒 (https://github.com/clusterpedia-io/clusterpedia/pull/35)

  • 为了保持用于分页的 Limit query 一致，将 search label 由 search.clusterpedia.io/size 修改为 search.clusterpedia.io/limit (https://github.com/clusterpedia-io/clusterpedia/pull/42)

Bug Fixes

  • 修复 requestInfo 在解析命名空间资源时，依然设置 requestInfo.Namespace 字段 (https://github.com/clusterpedia-io/clusterpedia/pull/17)

  • 修复了内置资源在同步时，指定版本导致资源同步状态显示异常的问题 (https://github.com/clusterpedia-io/clusterpedia/pull/58)

ClusterSynchro Manager

  • clustersynchro manager 可以通过 feature gates 来裁剪 managedFields 和 last-applied-configuration 字段 (https://github.com/clusterpedia-io/clusterpedia/pull/19)

Bug Fixes

  • 修复了 PediaCluster Status 更新相关的问题 (https://github.com/clusterpedia-io/clusterpedia/pull/11; https://github.com/clusterpedia-io/clusterpedia/pull/24; https://github.com/clusterpedia-io/clusterpedia/pull/23;https://github.com/clusterpedia-io/clusterpedia/pull/22)

  • 修复了 clustersynchro manager 的 leader election (https://github.com/clusterpedia-io/clusterpedia/pull/15)

Default Storage Layer

  • 默认存储层不再为用户提供默认的排序顺序，由用户来主动设置排序 (https://github.com/clusterpedia-io/clusterpedia/pull/44)

  • 增加了一些索引，并且修复了 gorm 忽略空字段的问题 (https://github.com/clusterpedia-io/clusterpedia/pull/41)

  • 支持了根据父辈或者祖辈 owner 进行查询 (https://github.com/clusterpedia-io/clusterpedia/pull/50)

Bug Fixes

  • 修复了 JSON SQL 的生成 (https://github.com/clusterpedia-io/clusterpedia/pull/60; https://github.com/clusterpedia-io/clusterpedia/pull/62; https://github.com/clusterpedia-io/clusterpedia/pull/78)

  • 修复了过滤 CollectionResource 时，获取的资源不准确的问题 （https://github.com/clusterpedia-io/clusterpedia/pull/61）

以上就是 Clusterpedia 0.1.0 的版本内容介绍，非常欢迎大家使用和参与讨论。

云原生与道客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
开源引领 | CloudTTY 入选 CNCF 全景图
08-08 208
CloudTTY 秉承了 ttyd[3] 从网页上访问终端命令行的理念：小巧轻量、简单易用。如今已内置到 DCE 5.0[4] 作为 Kubernetes Cloud Shell（Web Terminal）部署到了生产环境，是云原生行业内第一个开源的 Kube Cloud Shell 技术，目前已被 Kubevela 等项目采用。
博客
Kubernetes Blog 更新：DaoCloud 为数字世界寻找全局最优解
06-18 1354
DaoCloud 道客」坚持以 Kubernetes 等世界领先的云原生技术为支点，为军工、金融、制造、能源、政务、零售等垂直行业提供了前沿的云原生解决方案，为浦发银行、华泰证券、富国基金、上汽集团、海尔、复旦大学、屈臣氏、吉致汽车金融、国家电网等各行各业的优秀企业都量身定制了满意的数字化转型方案。公司基于 Kubernetes 部署了 Gitlab，形成了 “Gitlab —> PR —> 自动化测试 —> 构建发布“ 的产品开发流程，显著提升了开发效率，减少了重复测试的工作量，实现了应用的自动发布。
博客
Kubernetes 1.27 加快 Pod 启动速度
06-12 1942
这是企业集群管理员常常会面临的问题。这篇博文重点介绍了此方法不涉及通过 kube-apiserver 由 controller-manager 创建 Pod 所用的时间段，也不包含 Pod 的调度时间或在其上执行 Webhook 的时间。本文从 kubelet 的角度考虑，提及了一些重要的影响因素，但并不会详尽罗列所有诱因。此外，Kubernetes v1.27 已正式发布，本文也强调了。
博客
KCD 北京站报名开启 | 云原生英雄帖，邀您京城聚首
06-12 404
经过一轮公开的议题招募，KCD Beijing 收到了总计 21 份议题，根据 CNCF Ambassador 与 LFAPAC 云原生 SIG 两个小组参与议题投票的结果，近 20 位来自「DaoCloud 道客」、微软、阿里云、华为云、IBM、Intel、骥步科技、Flomesh、VMware、Boss 直聘等企业的云原生豪杰将齐聚京城，论道紫禁之巅。参与活动即有机会获得 CNCF 基金会官方提供的 CKA、CKAD、PCA、KCNA、CKS 等多项。北京市海淀区微软大厦 1 号楼 1 层故宫会议室。
博客
增强 Kubernetes 可观测性：API Server Tracing 特性已到达 Beta 版本
06-12 2050
SIG instrumentation 正在积极推动 Kubernetes 组件可追踪，现在 APIServer Tracing 和 kubelet Tracing 在 Kubernetes v1.27 都已到达 Beta 版本，敬请期待！
博客
Kamrada operator：新一代的 Karmada 管理方式
06-12 902
所有 Karmada 组件的 label 和 annotation 也是可以自定义的，如果设置了自定义的 label 和 annotation，它们会被同时注入到 pod 和对应的 workload 资源中。
博客
2 月 25 日，论道京城 | 云原生开源项目应用实践报名开启
02-20 502
2 月 25 日，论道原生·云原生开源项目应用实践专场北京站，由「DaoCloud 道客」、边无际、天谋科技和 DCE 5.0 社区联合承办，移动云、起步科技和 Kratos 社区倾情参与，与云原生领域的技术专家、最终用户和开源项目贡献者现场对话，从云原生技术视角出发，聚焦容器管理、云原生存储、低代码开发、AIoT 等热点领域，分享云原生开源项目的最新突破和应用实例，多维度展现云原生的创新实践价值。
博客
译文 | Kubernetes 1.26：PodDisruptionBudget 守护不健康 Pod 时所用的驱逐策略
01-16 899
这意味着因驱逐 Pod 而请求的自愿干扰，不应干扰守护的应用，且 PDB 的 .status.currentHealthy 不应低于 .status.desiredHealthy。如果正在运行的 Pod 状态为 Unhealthy，则该 Pod 不计入 PDB 状态，只有在应用不受干扰时，才可以驱逐这些 Pod。我们认为 AlwaysAllow 通常是一个更好的选择，但是对于某些关键负载，你可能仍然倾向于防止不健康的 Pod 被从节点上清空，或其他形式的 API 发起的驱逐。
博客
Kubernetes 正式发布 v1.26，稳定性显著提升
12-30 4216
作为 2022 年最后的一个版本，增加了很多新的功能，同时在稳定性上也得到显著提升，我们将从以下多个角度来介绍 1.26 版本的更新。作为 Kubernetes 请求的入口，本次更新增加了 4 个 KEP 新功能，并且在响应压缩上做了一些优化，另外还有 2 个功能也从 Alpha 升级到了 Beta。我们将与 kubelet 关系最为密切的更新放在这里，主要包括 4 个新增的 KEP 功能，并且有 4 个功能在该版本 GA。
博客
DaoCloud 结合 Karmada 打造新一代企业级多云平台
12-30 1527
现在 KairShip 已经完美集成到「DaoCloud 道客」最新发布的下一代云操作系统「云原生应用云平台 DaoCloud Enterprise 5.0」之中，通过与应用工作台、可观测性、全局管理、云原生化应用、多云编排、容器管理等功能模块结合，实现一键创建多云集群实例、多云管理权限、应用跨集群分发、存储及配置跨集群创建、跨集群资源检索、跨集群故障转移等多集群管理的核心能力。，用户不必对原来使用的 Kubernetes 平台做过多的改造，就能很好地适配 Karmada 的多集群管理平台。
博客
SpiderPool - 云原生容器网络 IPAM 插件
11-21 571
应用存在多种方式，可定制路由。优先级由低到高（应用路由-->IP Pool ）。
博客
生产可运维的云原生本地存储系统 HwameiStor 入选 CNCF 全景图
11-10 509
当 Kubernetes 系统节点 由于各种原因需要进行维护或者下线时，节点上的资源需要先给释放和驱逐，HwameiStor 会自动及时响应这个运维操作，主动将位于该节点上的数据卷副本迁移到其他节点上，一方面保证应用数据不会丢失和损坏，另一方面，被驱逐的应用 Pod 可以很快在其他节点上恢复并访问已有数据，保证了业务的连续性。此外，运维人员也可以主动迁移数据卷，从而平衡系统资源，保证系统平稳运行。，将任意时间点的数据进行拷贝，提供在线数据备份与恢复，进一步提高数据的安全性和可靠性，提升数据的灾备能力。
博客
Karmada 1.3 新特性：基于污点的故障迁移
11-04 611
集群状态的 condition 为 `Ready`, 每次检测集群的隔间时间为 10 秒，可以通过 --cluster-status-update-frequency 的 flag 来设置。cluster-status 控制器来判断集群的健康状态，如果集群被判定为故障集群后，cluster 控制器会将集群标记 `effect` 为 “NoExecute” 的污点，随后 taint-manager 控制器根据容忍机制开始驱逐该该集群上的工作负载，最后调度器将重新调度被驱逐的工作负载到候选集群上。
博客
云原生中间件 -- MongoDB Operator 篇
11-03 657
MongoDB 中的记录的数据结构类似一个文档，它是由字段和值对组成的。MongoDB 文档类似于 JSON 对象。字段的值可能包括其他文档、数组和文档数组。图片来源：https://mongodb.net.cn/Upload/crud-annotated-document.bakedsvg.svg。
博客
深入 Ambient Mesh - 流量路径
10-24 904
在 Ambient 模式下 istio-cni 变成了默认组件。上面我们主要分析了在 Ambient 模式下对于 Pod 流量拦截的方案，还没有涉及到七成流量的处理，以及 ztunnel 实现的具体原理，后续将分析流量在 ztunnel 和 waypoint proxy 中详细的处理路径。我们知道，在 Sidecar 模式下，Envoy 和业务容器运行在相同的网络 NS 中，对于业务容器的流量，我们需要全部拦截，以保证对流量的完成掌控，但是在 Ambient 模式下是否需要呢？
博客
6 种 K8s 协同工具，助你提高工作效率
10-18 675
如果一个 Pod 被删除，它就会从尾部移除，如果添加了一个新的 Pod，它会自动被拖到尾部。此外，如果我们的 Kubernetes 集群过载，它会报告分配过多/分配不足的资源，在集群容量不足时发出警告。这些年来，Kubectl 已经与开源社区开发的其他工具深度结合，不仅改善了用户体验，也让我们的生产工作变得更加高效。为了方便测试以下工具，建议在本机使用 kind 创建一个 Kubernetes 集群，使用 kind 可以便于安装 Kubernetes 集群，并且在结束时容易清理。云原生研究院产品经理。
博客
共建云原生 GIS 联合解决方案，超图与「DaoCloud 道客」完成产品兼容性认证
10-13 343
超图云原生 GIS 不仅具备全面的 GIS 能力，还拥有更稳定、更弹性和更便捷等特点，已广泛应用于国土、测绘、交通、电力、公安、水务等诸多领域，并收获用户的认可。通过此次产品兼容性认证，依托超图长期在云 GIS 技术、云原生领域的深耕探索实践，以及「DaoCloud 道客」在云原生及核心领域 Kubernetes 方面的技术沉淀，双方携手打造基于 DaoCloud 企业级云原生应用云平台的云原生 GIS 联合解决方案，可极大推动云原生 GIS 项目快速落地。
博客
KubeEdge v1.12 发布，重要功能速览
10-12 495
北京时间 2022 年 9 月 29 日，。新版本新增多个增强功能，在。在本次 KubeEdge 整个架构的大升级中，由「DaoCloud 道客」于去年提案并一直深度参与研发贡献的全新的边缘设备管理接口 DMI (Alpha)DMI 接口通过云原生的方式，使得 KubeEdge 的物联网设备管理，功能涵盖设备生命周期管理、设备操作、设备数据管理。简化操作，使物联网设备的生命周期管理如同管理一个 Pod 一样简单。提供通过 Kubernetes API 操作设备的能力。
博客
云原生社区直播回顾|丰富的 Kubernetes 生态助力多云平台建设
10-10 724
除此之外，用户本身能获取到的可能只有原生的资源样式，Clusterpedia 提供的多集群 Metrics Server 功能，可以在获取资源的同时了解到其计算和存储的真实用量信息，帮助用户更加方便地获取到多个集群内 Pod 和 Node 的资源用量，还可以让用户实现更加灵活的多集群动态调度。「DaoCloud 道客」的开源项目 Ferry，通过一个控制面定义不同集群，确定需要开放到其他集群的服务，并通过 Ferry Tunnel 实现网络隧道的打通，进行服务的转发。在多云平台的建设过程中，
博客
官宣！CNCF 正式接受 Istio 成为孵化项目
09-30 612
上述这些云原生硬核项目的大获成功，有赖于 CNCF 丰富和专业的孵化指导及社区推广经验，Istio 想在可扩展性（extensibility）、可触达性（Expanding reach）得到更进一步的发展，加入 CNCF 是必然的选择。1. Istio 是一个开源的、目前最受欢迎的服务网格，它透明地分层部署到现有的分布式应用上，提供了一种统一有效的方式来保护、连接和监视各类服务，是实现负载均衡、服务到服务身份验证和监视的路径。通过 Istio 的监控能力，可以真正的了解到服务的性能是如何影响上游和下游的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值