protobuf对象 转为Json串写入elastic search遇到的问题总结

最新推荐文章于 2024-07-27 12:12:30 发布
最新推荐文章于 2024-07-27 12:12:30 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： 学习记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chinamen1/article/details/107193590
版权

背景

从kafka中消费数据后拿到的是protobuf序列化后的字节数组，转化为Java中的proto对象后，需要将这些protocol对象继续处理成Json串写入elasticsearch。

各种问题

Json工具选择

刚开始尝试使用fastJson等工具来执行序列化，结果发现对于protobuf这种特殊对象，这些序列化工具都会报错，比如fastJson会提示UnsupportedOperationException: This field is not of enum type。最后在网上查找资料，发现Google专门提供了工具类来实现proto对象的Json化，com.google.protobuf.util.JsonFormat。
可以参考这篇论文，https://segmentfault.com/a/1190000020270374

使用例子

JsonFormat.printer(
最低0.47元/天 解锁文章
伊库塔花花
关注
专栏目录
ElasticSearch实战（四十七）-Canal 实现 MySQL 数据实时同步方案
专注基础架构领域
09-22 662
Canal 主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 ...
为elasticSearch开发c++接口
weixin_33747129的博客
08-14 1782
一、 ElasticSearch是什么 ElasticSearch是目前开源全文搜索引擎的首选，可以快速存储，搜索和分析海量数据。Stack Overflow，Github等都在使用。 Elasticsearch 是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful ...
ElasticSearch的基本功能，Google的protobuf消息方法方式示例
02-06
ElasticSearch的基本功能，Google的protobuf消息方法方式示例
protobuf与json互相转换
weixin_30342827的博客
09-15 1753
Java http://code.google.com/p/protobuf-java-format/ maven <dependency> <groupId>com.googlecode.protobuf-java-format</groupId> <artifactId>protobuf-java-format&...
从json到protobuf，接口效率的提升
最新发布
dgiij的博客
07-27 407
通常我们用urlencoded或json编码传一些数据量小的信息是蛮不错的，但是如果数据量大的话，或者感觉编码效率低的话，可以考虑用blob或者arraybuffer，当然如果某些属性就是blob或者arraybuffer，直接传就好了，但是如果类似一些较大的json对象数组，类似数据库宽表的一页或者几页信息，真是占空间，自己设计转码还挺麻烦，有没有什么好的办法呢？而作为请求发起方，axios是非常方便的，这是一个很好的选择，它可以传输多种类型的数据给接收方。下面是node服务端代码。
Protobuf生成文件报错
HashFlag的博客
09-28 2392
Mac下protobuf生成文件报错问题解决办法，windows下就不会这么麻烦了，如果linux下出现类似报错信息按照下面的解决逻辑依然适用。
protobuf和字符串json互转
cainiao1412的博客
11-18 1349
import com.google.protobuf.util.JsonFormat; protobuf转json TaskOuterClass.SaveTaskRequest request = TaskOuterClass.SaveTaskRequest.newBuilder() .setExcelUrl("nihao").build(); String data = JsonFormat.printer().print(request); Syste...
Elasticsearch
zhongshantea的博客
12-27 105
全文搜索引擎 Elasticsearch 入门教程 http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html Elasticsearch学习，请先看这一篇！ https://blog.csdn.net/makang110/article/details/80596017 Elasticsearch－基础介绍及索引原理分析 https://w...
python向es写入大量数据_python 消费kafka 写入es 小记
weixin_39945792的博客
12-16 418
# -*- coding: utf8 -*-# __author__ = '小红帽'# Date: 2020-05-11"""Naval Fate.Usage:py_kafka_protobuf_consume.py --bootstrap-servers= --groupId= --topic= --es-servers= --index= --type= --id=py_kafka_proto...
常用工具 脚手架资料 log4j 序列化protobuf 可视化grafana 日志 glog 测试 gtest
万有文的博客
05-23 873
然后，你可以编写包含测试用例的 C++ 代码，并使用 gtest 提供的宏和函数来编写测试断言。此外，Grafana还支持多种部署模式，包括多组织支持，可以为一个单一的Grafana实例为多个潜在的不受信任的组织提供服务。用户也可以属于一个或多个组织，并通过角色来分配不同的权限。它使用二进制格式进行数据的序列化和反序列化，这种格式更加紧凑，占用的存储空间更小，传输速度更快。丰富的可视化功能：Grafana提供了丰富的图表、图形和仪表板模板，可以实现各种数据的可视化，包括折线图、柱状图、饼图、仪表盘等。
使用JsonFormat映射protobuf和javabean
sinat_32787481的博客
12-26 4219
使用JsonFormat映射protobuf和javabeanprotobuf2protobuf3总结 JsonFomat是谷歌官方推出的protobuf映射工具，可以将protobuf对象转换成JSON，所以我们可以使用JsonFomat转换成的json在javabean和protobuf对象间转换。 JsonFormat有两个版本：com.googlecode.protobuf.format.JsonFormat（以下简称为F.JsonFormat）和com.google.protobuf.util.J
Protobuf与Json的相互转化
热门推荐
yuhui666666的博客
01-20 1万+
前言 最近的工作中开始使用Google的Protobuf构建REST API，按照现在使用的感觉，除了应为Protobuf的特性，接口被严格确定下来之外，暂时还么有感受到其他特别的好处。说是Protobuf比Json的序列化更小更快，但按照目前的需求，估计很就都没有还不会有这个性能的需要。既然是全新的技术，我非常地乐意学习。 在MVC的代码架构中，Protbuf是Controller层用到的技术，为了能够将每个层进行划分，使得Service层的实现不依赖于Protobuf，需要将Protobuf的实体类
使用protobuf-java-format包 JsonFormat转Json部分默认值字段消失问题
M丶Rock
02-03 3704
使用protobuf-java-format包 JsonFormat转Json部分默认值字段消失问题 1.产生的bug XXXXXXXXRequest.Builder request = XXXXXXXXRequest.newBuilder(); XXXXXXResponse response = XXXXXXResponse.newBuilder().build(); JsonFormat format = new JsonFormat(); return format.printToString(res
Android protobuf TextFormat、JsonFormat 序列化、反序列化
06-24 899
Android protobuf textformat jsonformat
Java：gRPC中如何将输入输出报文以json格式打印到日志文件中
netyeaxi的专栏
01-09 2329
gRPC中如何将输入输出报文以json格式的打印到日志文件中
protobuf对象与JSON相互转换
Charge8的博客
10-27 5898
protobuf对象与JSON相互转换
格式化 Json 数据输出
三劫散仙
08-09 783
【代码】格式化 Json 数据输出。
java使用中Protobuf3 Any类型转json (解决Cannot find type for url: type.googleapis.com)
Gogym的博客
07-03 5209
Protobuf是谷歌出品的一个数据协议框架，跟json相比，有独特的优点，这里不多说。 Protobuf3相比Protobuf2有很多改进。其中一个就any类型。有点类似java的泛型。也添加了Protobuf与json的互转，非常方便 如何转换json： 先添加jar支持，protobuf 转json的工具类在protobuf-java-util这个包中，通过maven引用进来 &...
protobuf-c-json 如何将protbuf转为json
04-18
protobuf-c-json 是一个开源的库，它可以将 Protobuf 数据转换成 JSON 格式，实现这一功能需要依赖 Protobuf-c 库。您可以使用 protobuf-c-json 的 API，将 Protobuf 数据转换成 JSON 格式的字符串，示例代码如下： ```c ProtobufCMessage *message; // your protobuf message char *json_string; json_string = protobuf_c_message_to_json_string (message); ``` 这段代码可以将 Protobuf 数据转换成 JSON 格式的字符串。另外，protobuf-c-json 还提供了从 JSON 格式转换为 Protobuf 数据的 API，具体您可查阅protobuf-c-json官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值