开源项目 `openobserve`: 高效且低成本的日志、度量和追踪管理平台

开源项目 openobserve: 高效且低成本的日志、度量和追踪管理平台

项目地址:https://gitcode.com/gh_mirrors/op/openobserve

1. 项目介绍

openobserve 是一个高性能的观测数据管道,旨在替代Elasticsearch、Splunk和Datadog等传统工具,提供日志、指标、追踪、实时用户体验监控(RUM)、错误跟踪及会话回放等功能。它的特点包括显著的存储成本节省(大约140倍),高速性能,以及能够处理PB级别的数据。该项目是用Rust语言编写的,提供了多语言支持,并具有强大的警报和仪表板功能。

2. 项目快速启动

Docker容器部署

在命令行中运行以下Docker命令来启动openobserve服务:

docker run -d \
  --name openobserve \
  -v $PWD/data:/data \
  -p 5080:5080 \
  -e ZO_ROOT_USER_EMAIL="root@example.com" \
  -e ZO_ROOT_USER_PASSWORD="Complexpass#123" \
  public.ecr.aws/zinclabs/openobserve:latest

或者,如果你使用docker-compose,可以创建一个如下的docker-compose.yml文件:

version: '3'
services:
  openobserve:
    image: public.ecr.aws/zinclabs/openobserve:latest
    restart: unless-stopped
    environment:
      ZO_ROOT_USER_EMAIL: "root@example.com"
      ZO_ROOT_USER_PASSWORD: "Complexpass#123"
    ports:
      - "5080:5080"
    volumes:
      - data:/data
volumes:
  data:

之后,通过执行docker-compose up -d来启动服务。

Docker Compose部署

docker-compose up -d

3. 应用案例和最佳实践

  • 日志管理:对于API数据的摄入和搜索,openobserve可作为Elasticsearch的无缝替代品。
  • 资源优化:与Elasticsearch相比,使用openobserve可大幅度减少存储成本。
  • 实时监控:集成OpenTelemetry协议,支持日志、度量和追踪的全面收集。
  • 性能评估:通过实时用户体验监测,跟踪性能、记录错误并实现会话回放。

4. 典型生态项目

  • Fluent Bit: 用于从不同源头收集日志数据,与openobserve配合提供高效的数据采集解决方案。
  • OpenTelemetry: 提供标准的数据出口接口,使得openobserve能与各种分布式系统的监控数据兼容。
  • Docker: 通过Docker容器化部署,简化了openobserve的安装和升级流程。
  • Docker Compose: 支持多服务环境配置,便于搭建和管理复杂的openobserve部署场景。

通过上述的快速启动指南和应用场景,你可以轻松地开始使用openobserve,进一步探索其在你的项目中的潜力和价值。更多详细信息,建议查阅官方文档以获取完整支持和最新更新。

openobserve 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay). openobserve 项目地址: https://gitcode.com/gh_mirrors/op/openobserve

### 构建H100 1024节点集群网络拓扑 对于构建一个由1024个H100 GPU组成的高性能计算(HPC)集群而言,其设计需考虑多方面因素来确保高效能运算。这类集群通常采用层次化的互连结构,以满足不同层面的数据交换需求。 #### 层次化互联模型 在一个典型的大型GPU集群配置中,最底层是由单个机柜内的若干台服务器通过NVLink技术直接相连形成的小规模子网;这些子网再经由InfiniBand或其他形式的高速网络连接起来构成更大范围内的分布式系统[^1]。具体到拥有1024个节点的情况: - **内部链接**:每台配备有8张H100显卡的服务器内部利用NVIDIA NVSwitch实现全带宽互连,使得同一主机上的所有GPU能够快速共享数据。 - **外部扩展**:跨服务器间的通讯依赖于InfiniBand EDR/HDR/FDR等标准协议提供的低延迟、高吞吐量特性完成。整个集群可能被划分为多个Pods(例如每个包含64或更多节点),各Pod之间也存在相应的上联链路用于全局同步操作。 #### 实际部署考量 考虑到物理空间布局以及散热等问题,在实际搭建过程中往往还会涉及到更复杂的规划。比如按照功能分区布置硬件资源,或是引入液冷方案辅助降温等等措施。此外,针对特定应用场景优化后的定制版固件也可能成为提升整体性能表现的关键要素之一[^3]。 ```mermaid graph TD; A[H100 Cluster Topology] --> B{Pod Level}; B --> C[Server Internal]; C --> D[NVSwitch Interconnect (Per Server)]; C --> E[GPU-to-GPU via NVLink]; B --> F[Inter-Pod Communication]; F --> G[Infiniband Network]; ``` 此Mermaid图表展示了上述描述中的基本概念,其中包含了从单个服务器内部直到跨越不同Pod之间的通信路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白娥林

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值