如何从自建开源 Prometheus 迁移到阿里云托管 Prometheus 服务

于 2024-07-26 18:16:35 发布
阅读量249 收藏 4
点赞数 13
文章标签： 开源 prometheus 阿里云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alisystemsoftware/article/details/140722089
版权

作者：颍川

引言

Prometheus [ 1] 已成为可观测指标领域的事实标准。由于各方面因素，当前还有部分用户的部分场景仍使用“自建开源 Prometheus+自建开源 Thanos+自建 Grafana”来实现基础设施和业务应用的指标监控和告警。阿里云可观测监控 Prometheus 版 [ 2] 全面对接开源 Prometheus 生态，支持类型丰富的组件观测，提供高性能、高可用、高扩展、低成本、易维护的指标可观察能力。为了便于用户从自建开源 Prometheus 迁移到阿里云 Prometheus，本文讨论在各个典型场景下的迁移方案。

自建开源 Prometheus + Thanos 的典型部署场景

在这里插入图片描述

目前典型自建开源 Prometheus+Thanos 的部署场景包括：

  • Kubernetes 集群内安装开源 Prometheus：
    • 阿里云容器服务集群内安装。
    • 其他云厂商的容器服务集群内安装。
    • 自建 IDC 内的自建 Kubernetes 集群内安装。
  • 非 Kubernetes 集群上安装开源 Prometheus：
    • 阿里云 ECS 上安装。
    • 其他云厂商的 ECS 上安装。
    • 自建 IDC 内的 VM 上安装。

为了满足长期监控需求，通常用户在自建开源 Prometheus 的基础上，都会再部署一套或多套自建 Thanos，将多个自建开源 Prometheus 数据集中、长期存储。

自建开源 Prometheus+Thanos 的痛点

对于自建开源 Prometheus+Thanos，企业通常面临如下主要问题：

  • 业务系统使用到的各种组件，需要自行安装 exporter、配置大盘和告警规则，工作量大，且通常开源 Grafana 大盘和告警规则不够专业，缺少结合观测组件的原理和最佳实践进行深入优化后的大盘和告警规则。
  • 由于企业部门或业务系统不同，需要在不同的容器集群或 VPC 内，安装多套自建开源 Prometheus，导致部署成本高、运维复杂等。
  • 对于容器集群或 ECS 规模较大时，自建开源 Prometheus 无法承载大流量的指标处理。
  • 引入自建 Thanos 进行集中、长周期存储后，增加了整个指标可观察体系复杂性。同时由于存在非 Kubernetes 场景，需要 Thanos Receiver 支持，导致整个 Thanos 部署和运维较复杂，成本高。

阿里云可观测监控 Prometheus 版的能力框架

阿里云可观测监控 Prometheus 版是一款全面对接开源 Prometheus 生态，支持类型丰富的组件观测，提供多种开箱即用的预置观测大盘，且提供全托管的混合云/多云 Prometheus 服务。除了支持阿里云容器服务、自建 Kubernetes、Remote Write 外，阿里云可观测监控 Prometheus 版还提供混合云+多云 ECS 应用的 metric 观测能力；并且支持多实例聚合观测能力，实现 Prometheus 指标的统一查询，统一 Grafana 数据源和统一告警。

在这里插入图片描述

自建开源 Prometheus 与阿里云可观测监控 Prometheus 版对比

在这里插入图片描述

自建开源 Prometheus 迁移到阿里云可观测监控 Prometheus 版 技术方案

从自建开源 Prometheus 迁移到阿里云可观测监控 Prometheus 版包含指标采集、可视化分析、告警配置等三个阶段步骤，下面分别对这三个阶段在不同自建 Prometheus 部署场景下的方案进行讨论。

步骤一：指标采集迁移

指标采集是指 Prometheus 根据采集 Job 配置，定时从目标监控组件或其对应的 Exporter 拉取和保存指标数据。

阿里云容器服务场景：容器集群监控 [ 4]

在这里插入图片描述

迁移要求

  • 阿里云 Prometheus 配置、验证完，需要 n 天（现有自建开源 Prometheus 数据保存天数）后，才能完成迁移，以便阿里云 Prometheus 采集到完整监控数据。

迁移步骤

  • 在阿里云 Prometheus 控制台的“接入中心 [ 5] ”，选择“容器集群监控”接入，完成“容器环境”实例创建。

在这里插入图片描述

  • 在阿里云 Prometheus 控制台的“接入管理 [ 6] ”，配置容器集群内各个监控组件的接入 [ 7] ，以便阿里云 Prometheus 生成采集 Job、抓取监控数据、生成默认大盘和默认告警规则。

在这里插入图片描述

  • 【可选】对于用户自定义的采集任务（ServiceMonitor、PodMonitor 和自定义 Job），可在“接入管理”的对应环境实例进行自定义采集规则配置 [ 8] 。

在这里插入图片描述

  • 验证阿里云 Prometheus 上容器集群的容器集群大盘和各组件的默认大盘是否正常。

在这里插入图片描述

自建 Kubernetes 场景：容器集群监控

在这里插入图片描述

此场景与“自建 Kubernetes 场景：容器集群监控”一样，只是需要先将自建 Kubernets 集群注册为阿里云容器服务的“注册集群 [9 ] ”即可。

阿里云 ECS 场景：ECS 监控 [ 10]

在这里插入图片描述

迁移要求

  • 阿里云 Prometheus 配置、验证完，需要 n 天（现有自建开源 Prometheus 数据保存天数）后，才能完成迁移，以便阿里云 Prometheus 采集到完整监控数据。

迁移步骤

  • 在阿里云 Prometheus 控制台的“接入中心”，选择“主机监控”，并按界面向导接入后，创建出“ECS 环境”实例，同时部署 ECS 主机监控的 Exporter 和采集配置。

在这里插入图片描述

  • 在阿里云 Prometheus 控制台的“接入管理”，配置 VPC 内各个要监控组件的接入，以便阿里云 Prometheus 生成采集 Job、抓取监控数据、生成默认大盘和默认告警规则。
  • 【可选】对于用户自定义的采集任务，可在“接入管理”的对应环境实例进行自定义采集规则配置。
  • 验证阿里云 Prometheus 上各组件的默认大盘是否正常。
自建 IDC 场景：ECS 监控

在这里插入图片描述

迁移要求

  • 阿里云 Prometheus 配置、验证完，需要 n 天（现有自建开源 Prometheus 数据保存天数）后，才能完成迁移，以便阿里云 Prometheus 采集到完整监控数据。
  • 需要将自建 IDC 通过 VPC 专线等 [ 11] 方式与用户的某个阿里云 VPC 打通。
  • 需要用户自行在自建 IDC 的各个 VM 上安装 Node/Process Exporter。

迁移步骤

  • 在阿里云 Prometheus 控制台的“接入中心”，选择“主机监控（自助安装+IP 域选择）”，并按界面向导接入后，创建出“ECS 环境”实例，同时生成主机监控的采集配置。
  • 在阿里云Prometheus控制台的“接入管理”，配置 VPC 内各个要监控组件的接入，以便阿里云 Prometheus 生成采集 Job、抓取监控数据、生成默认大盘和默认告警规则。
  • 【可选】对于用户自定义的采集任务，可在“接入管理”的对应环境实例进行自定义采集规则配置。
  • 验证阿里云 Prometheus 上各组件的默认大盘是否正常。
通用 RemoteWrite 场景：通用实例

在这里插入图片描述

迁移要求

  • 阿里云 Prometheus 配置、验证完，需要 n 天（现有自建开源 Prometheus 数据保存天数）后，才能完成迁移，以便阿里云 Prometheus 采集到完整数据。

迁移步骤

  • 在阿里云 Prometheus 控制台的“实例列表 [ 12] ”，点击“新建 Prometheus 实例”，选择“通用实例”后创建出实例。

在这里插入图片描述

  • 修改自建开源 Prometheus 配置，将监控数据 Remote Write 到阿里云 Prometheus [ 13] 。
  • 在阿里云 Prometheus 控制台的“指标中心 [ 14] ”，查询并验证自建开源 Prometheus Remote Write 上来的指标数据。

步骤二：可视化分析迁移

在上述指标采集迁移过程中，涉及到的容器集群和各个常用组件（如 Mysql、Redis 等），阿里云 Prometheus 都已内置默认的、专业的、开箱即用的大盘。

  • 对于容器/Kubernetes 和 ECS 监控场景：
    • 在阿里云 Prometheus 控制台的“接入管理”的“大盘查询 [ 15] ”界面，即可查看各组件的默认大盘。
    • 对于用户的自定义大盘，需要用户新建专家版 Grafana [ 16] ，然后自建 Grafana 迁移 [ 17] 或导入指定大盘 [ 18] 即可。

在这里插入图片描述

  • 对于 RemoteWrite 场景的通用实例：用户继续使用已有的自建 Grafana，只需要将 grafana 的数据源改为阿里云 Prometheus 对应实例数据源 [19 ] 即可。
  • 对于期望将多个容器/Kubernetes/ECS/IDC 的监控数据进行聚合展示的场景，使用阿里云 Prometheus 的全局聚合实例 [ 20] 能力即可轻松实现。

在这里插入图片描述
在这里插入图片描述

步骤三：告警配置迁移

与可视化分析迁移一样，在指标采集迁移过程中，涉及到的容器集群和各个常用组件（如 Mysql、Redis 等），阿里云 Prometheus 也已创建了专业的、开箱即用的告警规则。

  • 对于容器/Kubernetes 和 ECS 接入场景，在阿里云 Prometheus 控制台的“接入管理”的“已接入组件”界面，点击对应组件的“告警列表”即可查看该组件默认生成的告警规则。

在这里插入图片描述

  • 对于用户自定义告警规则，可在阿里云 Prometheus 控制台的“Prometheus 监控”的“Prometheus 告警规则 [ 21] ”菜单创建和管理，或通过“Prometheus 告警规则模板 [ 22] ”导入已有的 Prometheus 告警规则。

在这里插入图片描述

  • 对于期望将多个容器/Kubernetes/ECS/IDC 的监控数据进行聚合告警的场景，使用阿里云 Prometheus 的全局聚合实例能力即可方便快捷地实现。

在这里插入图片描述

关于阿里云可观测监控 Prometheus 版

阿里云可观测监控 Prometheus 版是基于云原生可观测事实标准 - Prometheus 开源项目构建的全托管观测服务。默认集成常见云服务，兼容主流开源组件，全面覆盖业务观测/应用层观测/中间件观测/系统层观测。通过开箱即用的 Grafana 看板与智能告警功能，全面优化探针性能与系统可用性，帮助企业快速搭建一站式指标可观测体系。帮助业务快速发现和定位问题，减轻故障给业务带来的影响，并免去系统搭建与日常维护工作量，有效提升运维观测效率。

与此同时，阿里云可观测监控 Prometheus 作为阿里云可观测套件的重要组成部分，与 Grafana 服务、链路追踪服务，形成指标存储分析、链路存储分析、异构构数据源集成的可观测数据层，同时通过标准的 PromQL 和 SQL，提供数据大盘展示，告警和数据探索能力。为 IT 成本管理、企业风险治理、智能运维、业务连续性保障等不同场景赋予数据价值，让可观测数据真正做到不止于观测。

在这里插入图片描述

点击此处立即开通阿里云可观测监控 Prometheus 版，领取每月 50GB 免费额度试用！加入钉钉群（群号：34590319）获得在线技术支持。

相关链接：

[1] Prometheus

https://prometheus.io/

[2] 阿里云可观测监控 Prometheus 版

https://help.aliyun.com/zh/prometheus/product-overview/product-introduction/

[3] 全局聚合实例

https://help.aliyun.com/zh/prometheus/use-cases/unified-multi-account-monitoring-based-on-prometheus-global-aggregation-instance

[4] 容器集群监控

https://help.aliyun.com/zh/prometheus/container-observable

[5] 接入中心

https://arms.console.aliyun.com/?#/intgr/integrations

[6] 接入管理

https://arms.console.aliyun.com/#/intgr/integration-management

[7] 监控组件的接入

https://help.aliyun.com/zh/prometheus/user-guide/access-component-management

[8] 自定义采集规则配置

https://help.aliyun.com/zh/prometheus/user-guide/manage-container-environments-custom-collection-rules/

[9] 注册集群

https://help.aliyun.com/zh/prometheus/use-cases/use-registered-kubernetes-clusters-to-implement-multi-cloud-kubernetes-cluster-monitoring

[10] ECS 监控

https://help.aliyun.com/zh/prometheus/host-observable

[11] VPC 专线等

https://help.aliyun.com/zh/vpc/user-guide/connect-a-data-center-to-a-vpc

[12] 实例列表

https://help.aliyun.com/zh/prometheus/user-guide/instance-management

[13] Remote Write 到阿里云 Prometheus

https://help.aliyun.com/zh/prometheus/user-guide/write-open-source-prometheus-data-to-an-alibaba-cloud-prometheus-instance-through-a-remote-write-address

[14] 指标中心

https://help.aliyun.com/zh/prometheus/user-guide/metrics-center/

[15] 大盘查询

https://help.aliyun.com/zh/prometheus/user-guide/search-out-of-the-box-with-a-large-tray

[16] 新建专家版 Grafana

https://help.aliyun.com/zh/arms/observable-visualization-grafana-edition/manage-workspaces

[17] 自建 Grafana 迁移

https://help.aliyun.com/zh/arms/observable-visualization-grafana-edition/migrate-self-managed-grafana

[18] 导入指定大盘

https://help.aliyun.com/zh/arms/observable-visualization-grafana-edition/how-to-export-and-import-the-grafana-dashboard

[19] 阿里云 Prometheus 对应实例数据源

https://help.aliyun.com/zh/prometheus/user-guide/data-query-and-grafana-data-source-settings

[20] 全局聚合实例

https://help.aliyun.com/zh/prometheus/use-cases/use-prometheusrule-to-create-prometheus-alert-rules

[21] Prometheus 告警规则

https://help.aliyun.com/zh/prometheus/user-guide/create-an-alert-rule-for-a-prometheus-instance

[22] Prometheus 告警规则模板

https://help.aliyun.com/zh/prometheus/use-cases/use-prometheusrule-to-create-prometheus-alert-rules

阿里云云原生
关注
  • 13
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
CNCF 官方大使张磊：什么是云原生？
12-03 1万+
作者|张磊 阿里云容器平台高级技术专家，CNCF 官方大使编者说：从 2015 年 Google 牵头成立 CNCF 以来，云原生技术开始进入公众的视线并取得快速的发展，到 2018 年包括 Google、AWS、Azure、Alibaba Cloud 等大型云计算供应商都加入了云原生基金会CNCF，云原生技术也从原来的应用容器化发展出包括容器、Service Mesh、微服务、不可变基础设...
博客
超大规模商用 K8s 场景下，阿里巴巴如何动态解决容器资源的按需分配问题？
10-12 7071
作者 |张晓宇（衷源） 阿里云容器平台技术专家关注『阿里巴巴云原生』公众号，回复关键词“1010”，可获取本文 PPT。导读：资源利用率一直是很多平台管理和研发人员关心的话题。本文作者通过阿里巴巴容器平台团队在这一领域的工作实践，整理出了一套资源利用提升的方案，希望能够带给大家带来一些讨论和思考。引言不知道大家有没有过这样的经历：当我们拥有了一套 Kubernetes 集群，然...
博客
当 K8s 集群达到万级规模，阿里巴巴如何解决系统各组件性能问题？
09-23 6477
作者 | 阿里云容器平台高级技术专家 曾凡松（逐灵）本文主要介绍阿里巴巴在大规模生产环境中落地 Kubernetes 的过程中，在集群规模上遇到的典型问题以及对应的解决方案，内容包含对 etcd、kube-apiserver、kube-controller 的若干性能及稳定性增强，这些关键的增强是阿里巴巴内部上万节点的 Kubernetes 集群能够平稳支撑2019 年天猫 618 大促的关键...
博客
SLS 数据加工全面升级，集成 SPL 语法
07-26 266
在系统开发、运维过程中，日志是最重要的信息之一，其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾：输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。
博客
GraalVM 静态编译下 OTel Java Agent 的自动增强方案与实现
07-26 313
在 2024 OpenTelemetry Community Day[1]会议中，阿里云可观测工程师张乎兴（望陶）和饶子昊（铖朴）为大家带来了《GraalVM 静态编译下 OTel Java Agent 的自动增强方案与实现》[2]的演讲分享，介绍阿里云在相关领域的探索方案，本文是相关分享对应的中文整理。
博客
流量回放新形态：基于网关 Access Log 发起
07-25 749
无论是面向即将上线的新版本做最后的性能测试，还是在遇到棘手的故障时帮助开发人员快速定位问题原因，流量回放技术都发挥着不可或缺的作用。使用真实世界的流量数据进行回放能使性能测试过程更加接近实际运行状态，确保新版本的性能真正满足用户的预期。同时准确的流量回放能够快速复原问题发生的现场，有效缩短故障响应和解决时间。
博客
全链路追踪 & 性能监控，GO 应用可观测全面升级
07-25 681
随着 Kubernetes 和容器化技术的普及，Go 语言不仅在云原生基础组件领域广泛应用，也在各类业务场景中占据了重要地位。如今，越来越多的新兴业务选择 Golang 作为首选编程语言。得益于丰富的 RPC 框架（如 Gin、Kratos、Kitex 等），Golang在微服务生态中愈加成熟，并被用于很多重要的开源项目，如 OpenTelemetry Collector、ETCD、Prometheus、Istio 等。
博客
求职季来了，让通义灵码陪你高效备战
07-24 607
本教程将带大家体验在技术面试准备场景下，如何通过使用阿里云通义灵码实现高效的编程算法题练习 、代码优化、技术知识查询等工作，帮助开发者提升实战能力，更加从容地应对面试挑战。
博客
嘿！通义灵码周边「超大鼠标垫」上线啦，更多玩法等待解锁
07-17 253
嘿！通义灵码周边「超大鼠标垫」上线啦，更多玩法等待解锁
博客
阿里客户成功案例
07-12 126
详情请前往：https://www.aliyun.com/customer-stories/customer-case-index。了解阿里云服务千行百业，为客户创新提速的成功故事。
博客
通义灵码入选 2024 世界人工智能大会最高荣誉「镇馆之宝」
07-05 227
镇馆之宝是世界人工智能大会展览的最高荣誉，从科技含量、市场前景、创新性以及社会经济效益等维度综合考量评选，每年入选数量不超过 10 个，获奖产品不仅代表了当前人工智能领域的最新技术成果，还展示了未来的发展趋势和商业潜力。作为国内最受欢迎的辅助编程工具，通义灵码凭借在功能、性能、安全性以及应用落地等方面的优势成功入选。
博客
阿里云 SAE 助力修正商城 3 周内提升系统承载能力 20 倍，轻松应对春晚流量
07-03 1018
修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
博客
详解微服务应用灰度发布最佳实践
07-03 914
本次分享是站在 DevOps 视角的灰度发布实践概述，主要内容包括以下四个方面：第一，灰度发布要解决的问题；第二，灰度发布的四种典型场景；第三，如何把灰度发布融入到应用的研发流程中，即把灰度发布与 DevOps 工作融合；第四，对于外部流量灰度场景，演示如何通过工具将其落地。
博客
5% 消耗，6 倍性能：揭秘新一代 iLogtail SPL 日志处理引擎与 Logstash 的 PK
07-03 730
近期，iLogtail 2.0 隆重推出了新功能 SPL 处理模式，进一步增强了日志处理的能力。在本文中，我们将深入探讨为何选择 iLogtail，以及它在 SPL 数据处理方面相较于 Logstash 有何独特优势。通过对比这两款工具的架构、性能以及功能，我们希望能够揭示 iLogtail 如何在日益复杂的日志处理需求中脱颖而出，帮助您做出明智的技术选择。
博客
通义灵码 Visual Studio 小白上手指南
07-01 836
本安装步骤适用于 Windows 10 及以上操作系统中安装和使用通义灵码。
博客
基于阿里云 OpenAPI 插件，让 Grafana 轻松实现云上数据可视化
06-26 640
本文旨在提供一个指导性的框架，帮助用户了解插件的安装、配置以及探索如何通过 Grafana 内的阿里云 OpenAPI 插件来对云上数据进行可视化和快速验证开发原型，加强数据可视化和云监控能力，助力开发速度。
博客
从云原生视角看 AI 原生应用架构的实践
06-26 1254
大家好，我是阿里云云原生微服务技术负责人李艳林，我所在的团队是做云原生应用的架构、开发和运维的，并以开源和云产品的方式服务广大开发者和企业客户。随着大模型的流行，我们看到了越来越多 AI 原生的应用，因此做了非常多的实践。今天我将分享一些实践中的感悟。
博客
22.5万奖金池丨Higress AI 网关编程挑战赛启动
06-26 804
2024 天池云原生编程挑战赛 6 月 12 日正式启动，8 月 28 日线下决赛，9 月公布最终参赛结果，奖金池合计 22.5 万，共计三个赛道，面向全社会开放。《使用 Higress AI 网关优化 AI 调用成本》是第二赛道。
博客
哈啰集团全面接入通义灵码，AI 生成代码占比 20%，研发提效 12%
06-25 214
6 月 21 日，在阿里云 AI 智领者峰会上海站，哈啰集团算法总监贾立宣布，哈啰集团已全面接入阿里云通义灵码专属版，不仅提升了内部研发效率，实现 AI 代码采用率超过 20%，还将灵码接入了哈啰自研 Copilot “海螺机器人”共同帮助用户实现智能代码补全、进行 CodeReview（代码评审）等。
博客
解锁分布式云多集群统一监控的云上最佳实践
06-24 1144
阿里云可观测监控 Prometheus 版使用全局聚合实例，构建一套灵活、统一的可视化监控视图，并集成到分布式云容器平台 ACK One 集群中，为用户提供开箱即用的多集群统一监控能力。本文主要介绍在该场景下如何实现分布式云多集群的统一监控方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值