深入解析 `com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not mat

最新推荐文章于 2025-03-18 00:26:02 发布

FF博客之家

最新推荐文章于 2025-03-18 00:26:02 发布

阅读量1.3k

点赞数 10

分类专栏： java 文章标签： linux 数据库服务器

本文链接：https://blog.csdn.net/2301_81991741/article/details/144621362

版权

java 专栏收录该内容

10 篇文章

订阅专栏

深入解析 `com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag`

在分布式系统或者微服务架构中，数据传输通常使用 Protocol Buffers（简称 Protobuf）等高效的序列化协议。Protobuf 的设计宗旨是为了高效、轻量、语言中立的序列化结构化数据，广泛应用于服务间通信、持久化存储等场景。

然而，在实际应用中，我们可能会遇到类似如下的异常：

com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.

这类异常常常出现在使用 Protobuf 解析消息时，意味着序列化和反序列化过程中发生了某些不一致或错误。本篇文章将详细分析导致这一问题的原因，并提供解决方案。

什么是 Protobuf 和 `InvalidProtocolBufferException`

Protobuf 简介

Protobuf 是 Google 开发的一种高效的数据序列化协议，它主要用于在不同的服务之间传输结构化数据。Protobuf 的主要优点是：

高效：Protobuf 序列化后的数据格式较小，传输速度快。
跨语言支持：Protobuf 支持多种编程语言，包括 Java、C++、Python、Go 等。
灵活性：Protobuf 提供了版本控制机制，允许在不破坏现有数据格式的情况下对消息格式进行修改。

`InvalidProtocolBufferException`

InvalidProtocolBufferException 是 Protobuf 在解析过程中抛出的异常类，通常在以下情况下出现：

序列化数据损坏或格式不正确。
数据的协议版本不匹配，导致无法正确解析。
字段类型不匹配或缺失。

Protocol message end-group tag did not match expected tag 这一特定错误，提示了在 Protobuf 消息的解析过程中遇到了标签不匹配的问题。下面将具体分析可能的原因。

错误分析

错误信息解析

该错误通常表明在 Protobuf 消息的解析过程中，数据的结尾标签（end-group tag）与期望的标签不匹配。

Protobuf 解析过程中每个消息都有开始标签和结束标签。在解析复杂类型时（如嵌套消息），每个嵌套的消息也会有自己的标签。如果在解析过程中，某个消息的结束标签和开始标签不匹配，就会抛出 InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag 错误。

我们可以通过分析 CodedInputStream$ArrayDecoder.checkLastTagWas 和 AbstractParser.parseFrom 这些栈信息，来帮助理解这个错误的发生时机。

典型场景

版本不一致：最常见的原因是客户端和服务端使用了不同版本的 Protobuf schema。当消息结构发生变化时（比如新增字段、删除字段、字段类型变化等），旧版的客户端和新版服务端之间就会发生标签不匹配的情况。
数据损坏：如果 Protobuf 消息在传输过程中被损坏，或者在存储中读取到不完整的数据，也可能导致标签不匹配。
错误的反序列化：在某些情况下，如果你尝试用错误的 Protobuf 类型反序列化数据，也会导致标签不匹配。例如，反序列化时使用了错误的消息类型，或者序列化和反序列化的字段结构不一致。

解决方案

1. 确保客户端和服务端的 Protobuf schema 一致

最常见的问题是客户端和服务端使用了不同版本的 Protobuf schema，导致序列化和反序列化时出现标签不匹配。为了避免这种问题，确保客户端和服务端使用相同的 .proto 文件，并且通过版本控制来管理协议文件的更新。

解决方法：

保持 schema 一致性：将所有的 .proto 文件保存在一个共享仓库中，确保不同服务使用相同的版本。
使用 Protobuf 版本控制：Protobuf 支持字段的增、删、改操作。在修改 .proto 文件时，应遵循 Protobuf 的版本控制原则。比如，如果你需要新增一个字段，应该为这个字段指定一个新的唯一标识符，而不是删除或重用已有字段的编号。
兼容性检查：在修改 Protobuf 消息格式时，遵循向后兼容和向前兼容的原则，以确保旧版本的客户端和新版本的服务端仍然能够正确通信。

2. 验证数据传输过程中的完整性

Protobuf 消息在传输过程中如果被截断或损坏，也会导致标签不匹配。常见的情况是，消息数据被网络传输丢失或存储时出现错误。

解决方法：

网络传输验证：确保在数据传输过程中使用了可靠的传输协议（如 TCP）并对数据进行了完整性校验。可以通过增加数据校验和（checksum）来确保数据的完整性。
数据加密：对于存储或传输敏感数据时，考虑使用加密算法保护数据不被篡改。
使用合适的缓冲区大小：在读取数据时，确保读取缓冲区足够大以存储完整的 Protobuf 消息。

3. 校对 Protobuf 消息类型的使用

另一种常见原因是在反序列化时，使用了错误的消息类型进行解析。特别是当消息被动态构建时，可能会出现类型不匹配的问题。

解决方法：

确保消息类型一致：在反序列化时，确保使用正确的 Protobuf 类型进行解析，尤其是在嵌套消息或者动态消息时。
严格类型检查：在编码和解码时，进行严格的类型检查，确保消息类型和字段类型完全匹配。

4. 排查 Protobuf 数据库存储

如果你使用数据库存储 Protobuf 消息，在存储和读取时，也可能会遇到数据损坏的问题。确保 Protobuf 数据以正确的格式存储，并且在查询和读取时没有发生格式变化。

解决方法：

数据存储格式验证：在存储 Protobuf 消息时，确保采用适合的存储格式，比如使用 BLOB 类型存储 Protobuf 二进制数据，并避免字符集转换等问题。
读取时使用适当的解码器：在从数据库中读取 Protobuf 数据时，确保使用正确的解码器进行反序列化。

示例代码

以下是一个简单的示例，展示如何正确序列化和反序列化 Protobuf 消息，以避免出现标签不匹配的错误。

// 假设我们有一个简单的 Protobuf 消息定义如下：
message Person {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
}

// 序列化操作
Person person = Person.newBuilder()
                       .setName("John Doe")
                       .setId(1234)
                       .setEmail("john.doe@example.com")
                       .build();
byte[] data = person.toByteArray();

// 反序列化操作
try {
    Person parsedPerson = Person.parseFrom(data);
    System.out.println(parsedPerson.getName());
} catch (InvalidProtocolBufferException e) {
    System.err.println("Failed to parse Protobuf message: " + e.getMessage());
}