RPC
hellozhxy
这个作者很懒,什么都没留下…
展开
-
在Dubbo中使用高效的Java序列化(Kryo和FST)
作者:沈理文档版权: Apache 2.0许可证 署名-禁止演绎完善中……TODO 生成可点击的目录目录序列化漫谈 启用Kryo和FST 注册被序列化类 无参构造函数和Serializable接口 序列化性能分析与测试 测试环境 测试脚本 Dubbo RPC中不同序列化生成字节大小比较 Dubbo RPC中不同序列化响应时间和吞吐量对比 未来序列化...转载 2018-07-31 15:39:44 · 344 阅读 · 0 评论 -
详解分布式协调服务 ZooKeeper
这篇文章主要会介绍 Zookeeper 的实现原理以及常见的应用在 2006 年,Google 发表了一篇名为 The Chubby lock service for loosely-coupled distributed systems 的论文,其中描述了一个分布式锁服务 Chubby 的设计理念和实现原理;作为 Google 内部的一个基础服务,虽然 Chubby 与 GFS、Bigtab...转载 2018-10-08 11:18:22 · 821 阅读 · 0 评论 -
三种通用应用层协议protobuf、thrift、avro对比
Google protobuf:优点二进制消息,性能好/效率高(空间和时间效率都很不错)proto文件生成目标代码,简单易用序列化反序列化直接对应程序中的数据类,不需要解析后在进行映射(XML,JSON都是这种方式)支持向前兼容(新加字段采用默认值)和向后兼容(忽略新加字段),简化升级支持多种语言(可以把proto文件看做IDL文件)N...转载 2019-05-16 13:35:14 · 822 阅读 · 0 评论 -
Avro介绍
Apache Avro是一个数据序列化系统。Avro所提供的属性:1.丰富的数据结构2.使用快速的压缩二进制数据格式3.提供容器文件用于持久化数据4.远程过程调用RPC5.简单的动态语言结合功能,Avro 和动态语言结合后,读写数据文件和使用 RPC 协议都不需要生成代码,而代码生成作为一种可选的优化只值得在静态类型语言中实现。Avro的SchemaAvro的Schema用...转载 2019-05-22 20:08:08 · 2674 阅读 · 0 评论 -
avro使用详解
一、avro的介绍1、概括avro是一个数据序列化系统,它提供丰富的数据结构快速可压缩的二进制数据形式存储持久数据的文件容器远程过程调用RPC简单的动态语言结合功能2、类型二、avro在hadoop的使用1、模式确定例如:{"namespace": "example.avro", "type": "record", "name...转载 2019-05-22 20:28:10 · 8096 阅读 · 0 评论 -
嵌套的JSON数据与AVRO文件的相互转换
JSON是一种常用的数据交换格式,很多系统都会使用JSON作为数据接口返回的数据格式,然而,由于JSON数据中包含大量的字段名字,导致空间的严重浪费,尤其是数据文件较大的时候,而AVRO是一种更加紧凑的数据序列化系统,占用空间相对较少,更利于数据在网络当中的传输,本文介绍如何使用avro-tools工具对这两种文件格式进行转换。准备转换工具使用的是avro-tools-1.8.1.jar,可...转载 2019-05-22 20:33:55 · 1895 阅读 · 0 评论 -
Apache Avro
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。当前市场...转载 2019-05-22 20:43:12 · 215 阅读 · 0 评论