Iggy - 高性能持久化消息流平台

Iggy - 高性能持久化消息流平台

iggyIggy is the persistent message streaming platform written in Rust, supporting QUIC, TCP and HTTP transport protocols, capable of processing millions of messages per second.项目地址:https://gitcode.com/gh_mirrors/ig/iggy

Iggy 是一个由 Rust 编写的持久化消息流平台，支持 QUIC、TCP（自定义二进制规范）和 HTTP 传输协议。它能够创建流、主题、分区，并在其中发送和接收消息。消息以追加日志的形式存储在磁盘上，即使服务器重启也能保持数据完整性。

项目技术分析

Iggy 采用了一个基于 Rust 的低级别 I/O 架构，保证了极高的性能和效率，并且由于 Rust 语言本身不依赖垃圾回收机制，其资源占用非常低。该平台已经实现了单服务器模式，目标是构建一个可水平扩展的分布式集群，能处理每秒数百万条消息。

通过使用QUIC，Iggy 实现了更快的数据传输速度；通过分区分段策略，确保高效的消息管理和检索；使用持久化消息队列，即使在服务器故障后仍能恢复数据；并提供了多种消费者跟踪消息的方式，包括按偏移量、时间戳等。

项目应用场景

Iggy 可广泛应用于实时大数据处理场景，如：

1. 日志收集与分析
2. 大规模事件驱动架构中的消息传递
3. 持续集成/持续部署(CI/CD)系统的状态更新
4. 物联网(IoT)设备的数据同步
5. 在线广告或个性化推荐系统中的数据流处理

项目特点

• 高性能与高吞吐量：利用 Rust 的编译优化，提供高速读写能力。
• 低延迟：无垃圾回收器，减少不必要的计算开销。
• 多协议支持：QUIC、TCP 和 HTTP 三种传输方式。
• 权限管理：用户认证和授权功能，支持细粒度权限设置。
• 灵活的数据处理：支持直接处理二进制数据，无需强制序列化/反序列化。
• 单节点运行：可以独立部署，无需依赖其他基础设施。
• 客户端SDK：正在开发中，支持多种编程语言。
• 消息过期与清理策略：自动删除过期消息。
• 自动提交偏移量：实现"最多一次"的消息传递保障。
• 消费者组：提供消息顺序和跨客户端的水平扩展。

开发路线图

未来的开发计划包括但不限于：服务器缓存优化、集群功能、Web 界面增强、更多语言的 SDK 支持、插件扩展等。

结论

Iggy 提供了一种全新的、从底层构建的消息流解决方案，为开发者带来了高效率、低延迟的数据处理体验。无论您是寻求实时数据分析工具，还是希望提升现有架构的性能，Iggy 都值得考虑和使用。立即试用 Iggy，感受它的强大与速度吧！

iggyIggy is the persistent message streaming platform written in Rust, supporting QUIC, TCP and HTTP transport protocols, capable of processing millions of messages per second.项目地址:https://gitcode.com/gh_mirrors/ig/iggy