字节跳动开源内部微服务中间件 CloudWeGo

下面是 Kitex 的一些特性：

• 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势；除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego/kitex-benchmark。

• 扩展性：Kitex 设计上做了模块划分，提供了较多的扩展接口以及默认的扩展实现，使用者也可以根据需要自行定制扩展。Kitex 未耦合 Netpoll，开发者可选择其他网络库扩展使用。

• 消息协议：RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议；Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议，协议格式类似 Thrift；gRPC 是对 gRPC 消息协议的支持，可以与 gRPC 互通。除此之外，使用者也可以扩展自己的消息协议。

• 传输协议：传输协议封装消息协议进行 RPC 互通，传输协议可以额外透传元信息，用于服务治理，Kitex 支持的传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用；HTTP2 目前主要是结合 gRPC 协议使用，后续也会支持 Thrift。

• 多消息类型：支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持，双向 Streaming 只对 gRPC 支持，后续会考虑支持 Thrift 的双向 Streaming。

• 服务治理：支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块，大部分均已提供默认扩展，使用者可选择集成。

• 代码生成工具：Kitex 内置代码生成工具，可支持生成 Thrift、Protobuf 以及脚手架代码。

Netpoll

Netpoll 是字节跳动内部的 Golang 高性能、I/O 非阻塞的网络库，专注于 RPC 场景。

RPC 通常有较重的处理逻辑（业务逻辑、编解码），耗时长，不能像 Redis 一样采用串行处理（必须异步）。而 Go 的标准库 net 设计了 BIO(Blocking I/O) 模式的 API，为了保证异步处理，RPC 框架设计上需要为每个连接都分配一个 goroutine，这在空闲连接较多时，产生大量的空闲 goroutine，增加调度开销。此外，net.Conn 没有提供检查连接活性的 API，很难设计出高效的连接池，池中的失效连接无法及时清理，复用低效。开源社区目前缺少专注于 RPC 方案的 Go 网络库。类似的项目如：evio、gnet 等，均面向 Redis、Haproxy 这样的场景。

因此 Netpoll 应运而生，它借鉴了 evio 和 Netty 的优秀设计，具有出色的性能，更适用于微服务架构。

Thriftgo

Thriftgo 是 Go 语言实现的 Thrift IDL 解析和代码生成器，支持完善的 Thrift IDL 语法和语义检查，相较 Apache Thrift 官方的 Golang 生成代码，Thriftgo 做了一些问题修复且支持插件机制，用户可根据需求自定义生成代码。

Kitex 的代码生成工具就是 Thriftgo 的插件，CloudWeGo 近期也会开源另一个 Thriftgo 的插件 thrift-gen-validator，支持 IDL Validator，用于字段值校验，解决开发者需要自行实现代码校验逻辑的负担，弥补 Thrift 缺失的能力。

Thriftgo 目前虽然仅支持生成 Golang Thrift 代码，但其定位是可支持各语言的 Thrift 代码生成，未来如果有需求，我们会考虑生成其他语言的代码。同时我们也会尝试将其回馈至 Apache Thrift 社区。

Netpoll-http2

Netpoll-http2 基于 Golang 标准库 golang.org/x/net/http2 的源码替换 go net 为 Netpoll，目前用于 Kitex 对 gRPC 协议的支持，对 HTTP2 有需求的外部开发者也可以使用此库。

内外版本维护

---

完整的微服务体系离不开底层云计算生态，无论是公有云、私有云还是本地基础设施等环境，开发者要搭建微服务，离不开配套的微服务治理，如治理平台、监控、链路跟踪、注册/发现、配置中心、服务网格等，此外还存在一些定制的规范。

字节跳动自然也有完善的内部服务支持微服务体系，但这些服务短期内无法开源。为了遵守长期投入承诺，内外维护一套代码、统一迭代，基础架构团队已经将与内部生态没有耦合的项目，如 Netpoll，直接迁移到 CloudWeGo 开源库，并将内部依赖调整为开源库。

而对于需要集成治理能力融入微服务体系的 Kitex，我们基于其扩展性，对内外部代码做了拆分，把 Kitex 的核心代码迁移到开源库，内部库封装一层壳保证内部用户无感知升级，而集成内部治理特性的模块则作为 Kitex 的扩展保留在内部库。未来，我们也会持续把已经在字节跳动内部经过稳定性验证的新特性，迁移到开源库。

对于使用 CloudWeGo 的开发者，大家同样可以对 Kitex 进行扩展，将 Kitex 融入自己所在组织的微服务体系中。我们也诚挚欢迎开发者能贡献自己的扩展到 https://github.com/kitex-contrib，为更多用户提供便利。

RoadMap

---

对于基础架构团队，CloudWeGo 不仅仅是一个开源项目，它也是一个真实的超大规模企业级实践项目。通过开源，我们希望 CloudWeGo 能丰富云原生社区的 Golang 工具体系，为更多开发者和企业搭建云原生化的大规模分布式系统，提供一种现代的、资源高效的的技术方案。

如前文所述，目前 CloudWeGo 只开源了第一批项目，未来，我们会进一步推动其走向完善：

• 继续开源其他内部项目。我们会开源更多字节跳动常用 Golang 项目，如 HTTP 框架 Hertz、基于共享内存的 IPC 通信库 ShmIPC 等，为开发者提供更多场景的微服务需求支持。此前，我们已将部分 Golang 基础工具库开源，统一在 bytedance/gopkg 维护，感兴趣的开发者也可以关注。