可观测性革命 - 揭秘OpenObserve开源高性能云原生平台

 OpenObserve简介

OpenObserve 是一个开源的云原生可观测性平台，与 Elasticsearch 相比，存储成本降低了约 140 倍（实际结果可能因测试数据而有所不同），测试用例包括真实的日志数据，其显著降低运营成本，并提高了易用性。它可以扩展到PB级别的数据量，具有很高的性能，您晚上可以睡得更好。如果您正在寻找一款适用于日志、指标和跟踪的可观测性工具，请查看OpenObserve 以及其在可观测性方面如何帮助您构建更好的软件并节省观测成本。

我们构建 OpenObserve 时遵循以下设计原则：

1. 使用 暴力搜索 进行日志查询，而非倒排索引或bitfunnel；

2. 使用 Rust 作为编程语言以确保安全和高性能；

3. 使用 s3/MinIO/gcs/Azure blob/oss/cos 作为可观测数据存储；

4. 采用列式格式存储数据以加速分析；

5. 支持很高基数的字段；

6. 利用SIMD指令集（AVX-512和NEON）进行向量化处理以加速分析；

7. 采用无状态节点，真正实现计算与存储分离，；

8. 核心引擎从一开始就设计为提供完整的可观测性解决方案（日志、指标、跟踪），而不是事后对现有功能进行改进。

我们将在一系列博客中深入探讨如何实现比现有可观测工具更高效率。但现在让我们先来看看为什么我们要构建OpenObserve。

又一个日志搜索引擎！为什么？

当我在2021年创建ZincSearch[1]时，我没有料到它会在大约一年内在GitHub上获得超过14k stars，并成为2022年GitHub上增长最快的项目[2] 之一。尽管功能简单，但目前已经有数百家组织将ZincSearch应用于生产环境中的日志搜索和分析。

这些组织选择ZincSearch的原因是什么？绝大多数客户表示他们使用现有可观测性解决方案时遇到以下痛点：

1. 启动难度：通常包括：

a. 在用户环境中安装；

b. 提前规划，例如分片数量、需要索引哪些字段、设置映射（Elasticsearch）、以及预先定义标签（Loki）；