需求:
线上需要一份数据,这份数据是存储在hbase中的(比如对于某一个实体,其各个字段是存储在hbase的各个列的)。而希望最终导出的文件的每一行是一个 protobuf 的message,以方便解析和维护。
具体做法:
定义一个 protobuf message,其各个 field 的名字与 hbase 各列的 key 的名字对应,将 hbase 中各列对应的 value 取出来,填充到对应的 field 中,生成构造完成的message之后, dump 到文件。
利用 java 和 protobuf 的反射功能,将该功能做成通用可配置的,而不是针对每个字段都调用对应的 set 函数。
以下记录碰到的坑。
Class cl = Class.forName(pbClassName); // 首先根据 pb message class 名称得到 Class 对象。(坑1:注意内部类连接符为$,如 package_name.class_name$inner_class_name, 另外注意脚本启动的时候要注意对 $ 转义,否则 shell 会以为 $inner_class_name 为变量)
Method method = cl.getMethod("newBuilder"); // newBuilder 为静态变量,即使没有 message 的具体实例也可以 invoke!yes!
Object obj = method.invoke(null, null);
Message.Builder msgBuilder =