google protocol buffer在python中使用utf-8的问题

google protocol buffer好用，但是在python中会有一些小问题。比如不支持utf-8只支持unicode的字符串。在我们的系统中，存储的和传输的都是utf-8，因此在代码中（c++，java，python）都统一使用utf-8格式。所以就带来不方便，比如c++中需要从utf-8转为unicode，python中再解析出来。实际上，可以让google protocol buffer for python不进行转码。

我遇到的问题是：c++读取文件（文件时utf-8的），然后python接受，c++发送的是utf-8的，但是python却要求unicode的，巨郁闷。

对于string类型的描述如下，说utf-8和ascii都支持，实际上python版本的却要求unicode，实在是可笑，由此可见，实际上试一下比说啥都强。

string

A string must always contain UTF-8 encoded or 7-bit ASCII text.

string

String

下载google protocol buffer的源码，如 http://code.google.com/p/protobuf/downloads/list，下载2.0.3版本。
进入/protobuf-2.0.3/python/google/protobuf/internal目录下
encode.py

1.   def AppendString(self, field_number, value):
2.     """Appends a length-prefixed unicode string, encoded as UTF-8 to our buffer,
3.     with the length varint-encoded.
4.     """
5. #  self.AppendBytes(field_number, value.encode('utf-8'))
6. #  将value.encode去掉，我本来就是utf-8，干吗还编码呢
7.     self.AppendBytes(field_number, value)

decode.py

1.   def ReadString(self):
2.     """Reads and returns a length-delimited string."""
3.     bytes = self.ReadBytes()
4. #    return unicode(bytes, 'utf-8')
5. #    改为下面这句，啥也不干，是什么编码就返回什么编码
6.     return bytes

type_check.py

1. class UnicodeValueChecker(object):
3.   """Checker used for string fields."""
5.   def CheckValue(self, proposed_value):
6.     if not isinstance(proposed_value, (str, unicode)):
7.       message = ('%.1024r has type %s, but expected one of: %s' %
8.                  (proposed_value, type(proposed_value), (str, unicode)))
9.       raise TypeError(message)
11.     # If the value is of type 'str' make sure that it is in 7-bit ASCII
12.     # encoding.
13.     # 莫名其妙，为何要try convert to unicode，而且是从ascii转，注释掉
14. #    if isinstance(proposed_value, str):
15. #      try:
16. #        unicode(proposed_value, 'ascii')
17. #      except UnicodeDecodeError:
18. #        raise ValueError('%.1024r isn/'t in 7-bit ASCII encoding.'
19. #                         % (proposed_value))

改了之后，重新安装一下，它就不会给你转编码了，你想传什么编码就什么编码。我用过c++版本的，好像不会处理编码问题。不过好像proto的数据类型中bytes也能满足要求，bytes它是不做任何处理的。