基于go+protobuf实现的多种持久化方案的mq框架：kiteq

最新推荐文章于 2024-05-31 15:42:57 发布
最新推荐文章于 2024-05-31 15:42:57 发布
阅读量2.2k 收藏
点赞数
分类专栏： 分布式与大数据系统 分布式消息系统 golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chdhust/article/details/44341553
版权
本文介绍了GitLab上的一款开源项目Kiteq，它是一个基于Go和protobuf实现的消息队列（MQ）框架。文章涵盖了项目简介、工程结构、核心概念如Zookeeper数据结构、工作流程、订阅方式以及两阶段提交机制，还提供了QuickStart指南，帮助开发者快速入门。
摘要由CSDN通过智能技术生成
基于go+protobuf实现的多种持久化方案的mq框架：kiteq

gitlab上发现一个比较好的开源项目，特此介绍：

简介
* 基于zk维护发送方、订阅方、broker订阅发送关系、支持水平、垂直方面的扩展
* 基于与topic以及第二级messageType订阅消息
* 基于mysql、文件存储方式多重持久层消息存储
* 保证可靠异步投递
* 支持两阶段提交分布式事务
工程结构
最低0.47元/天 解锁文章
快乐的霖霖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Go-Go关系持久化-一个ORM框架
08-13
Go 关系持久化 - 一个ORM框架
cocolian-data-mysql:支持将Protobuf Message对象持久化到MySQL中
05-18
cocolian-data-mysql 实现将Protobuf的 message 持久化到MySQL数据库中的功能。 Cocolian将主要使用Protobuf来描述数据对象， 为此有必要提供一个支持ProtobufMessage 持久化的中间件， 来简化开发工作。 定义 这个模块实现理念同Hibernate， 基于标签（protobuf 的option)来完成对持久化设置的描述，并通过持久化引擎来支持最终的实现。 对于一个message的定义，对应的数据表的持久化选项： message TableOption { optional string name = 1; // 表名， 默认同message的类名。 optional string name_pattern = 2; //分表分库时的表名pattern; optional string primary_key = 3; //
详细介绍Protobuf协议
u012903034的博客
05-31 1100
Protobuf是一种语言中立、平台无关的可扩展机制，用于序列化结构化数据。它被设计为高效地在不同系统之间传输数据或在磁盘上存储数据。Protobuf的主要优势在于其紧凑、高效和灵活的二进制格式。首先，需要定义一个.proto文件来描述数据结构。
Go Programming Blueprints 读书笔记（谈到了nsq／mgo处理数据持久化，但是业务逻辑不够复杂）
cteng的专栏
07-26 2320
Go Programming Blueprints http.Handle("/", &templateHandler{filename: "chat.html"}); http.Handle静态方法？带参数的函数对象参数？ 就是个普通的struct——为何不需要new？ go get github.com/gorilla/websocket（方便的包依赖管理
Go-goscheduler一个支持数据持久化的任务调度Go程序库
08-13
goscheduler 一个支持数据持久化的任务调度Go程序库
Protocol Buffers(持久化存储)
细心程度决定你的成败
04-15 983
Protocol BuffersGoogle Developer of Protocol Buffers持久化的结果：message Person { required string name = 1; required int32 id = 2; optional string email = 3; } 支持多种语言。
基于Netty+TCP+Protobuf实现的Android IM库
01-17
基于Netty+TCP+Protobuf实现的Android IM库，包含Protobuf序列化、TCP拆包与粘包、长连接握手认证、心跳机制、断线重连机制、消息重发机制、读写超时机制、离线消息、线程池等功能
基于Golang+WebSocket+Canvas+Protobuf 的聊天室+源码解析+项目解析+运行教程（高分优秀项目）
最新发布
06-09
基于Golang+WebSocket+Canvas+Protobuf 的聊天室+源码解析+项目解析+运行教程，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 特色 支持性别修改、...
Python优秀项目 基于Flask+protobuf+ChatGLM实现的流水线系统源码+数据集+部署文档+数据资料
05-25
Python优秀项目 基于Flask+protobuf+ChatGLM实现的流水线系统源码+数据集+部署文档+数据资料 1、代码压缩包内容 代码的项目文件 部署文档文件 2、代码运行版本 python3.7或者3.7以上的版本；若运行有误，根据提示...
Redis+protobuf开发的即时通讯服务器.zip
05-31
Redis+protobuf开发的即时通讯服务器.zipRedis+protobuf开发的即时通讯服务器.zipRedis+protobuf开发的即时通讯服务器.zipRedis+protobuf开发的即时通讯服务器.zipRedis+protobuf开发的即时通讯服务器.zipRedis+...
基于Netty+Redis+protobuf开发的即时通讯服务器
05-17
基于Netty+Redis+protobuf开发的即时通讯服务器 第一版是一个简版，只实现了很少的功能，现在已经迁移到 [v1.0](https://github.com/linyu19872008/cdeer-im/tree/v1.0) 第二版的目标有以下几点： 1 工程用...
ActiveMQ发送和接收protobuf协议消息的实例(精心整理,亲测可用)
03-15
这是我精力整理的ActiveMQ发送和接收protobuf协议消息的实例。 也对ActiveMQ进行了简化封装，也配置了自动重连机制，亲测可用！
Go-Snapshot采用纯Golang编写的强大可持久化Key-Value(KV)存储
08-13
Snapshot 采用纯Golang编写的强大、可持久化，Key-Value (KV)存储
gorm框架增、删、改、查简单测试
jujueduoluo的专栏
09-06 3512
gorm中文文档 http://gorm.book.jasperxu.com/ 因为程序非常简单，一目了然，因此不做过多解释： package main import ( "fmt" "github.com/jinzhu/gorm" _ "github.com/jinzhu/gorm/dialects/mysql" ) type UserInfo struct { Id int...
[译]提案：在Go语言中增加对持久化内存的支持
梦醒人间
01-27 687
作者：Jerrin Shaji George、Mohit Verma、Rajesh Venkatasubramanian、Pratap Subrahmanyam Jerrin Shaj...
Google Protocol Buffer持久化框架分析
冷月宫主的专栏
04-13 1065
一、三大主流开源持久化框架介绍 1.1 Google Protocol Buffer protocol buffer是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了三种语言的实现：java、c++ 和 python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的
深入理解 ProtoBuf 原理与工程实践（概述）
vivo互联网技术
02-03 713
ProtoBuf 作为一种跨平台、语言无关、可扩展的序列化结构数据的方法，已广泛应用于网络数据交换及存储。随着互联网的发展，系统的异构性会愈发突出，跨语言的需求会愈加明显，同时 gRPC 也大有取代Restful之势，而 ProtoBuf 作为g RPC 跨语言、高性能的法宝，我们技术人有必要 深入理解 ProtoBuf 原理，为以后的技术更新和选型打下基础。 我将过去的学习过程以及实践经验，总结成系列文章，与大家一起探讨学习，希望大家能有所收获，当然其中有不正确的地方也欢迎大家批评指正。 本系列文章
kiteq架构与代码分析
zhanglehes的专栏
05-06 264
概要 Kiteq是一个分布式消息队列 它的实现是一种自组织形式，没有中心控制节点负责topic和consumer的管理，每个server自己将能处理的topic上报给zk，同时在zk上拉取topic与下游group的映射关系。 git地址与架构图 https://github.com/shineit/kiteq 流程如下 1. KiteQ启动会将自己可以接受和投递的Topics列表给到zookeeper 2. KiteQ拉取Zookeeper上的Topics下的订阅关系(Bingding:
深入理解 ProtoBuf 原理与工程实践
Linuxhus的博客
09-07 487
ProtoBuf 作为一种跨平台、语言无关、可扩展的序列化结构数据的方法，已广泛应用于网络数据交换及存储。随着互联网的发展，系统的异构性会愈发突出，跨语言的需求会愈加明显，同时 gRPC 也大有取代Restful之势，而 ProtoBuf 作为g RPC 跨语言、高性能的法宝，我们技术人有必要 深入理解 ProtoBuf 原理，为以后的技术更新和选型打下基础。 我将过去的学习过程以及实践经验，总结成系列文章，与大家一起探讨学习，希望大家能有所收获，当然其中有不正确的地方也欢迎大家批评指正。 本系列文章
cocoscreator+ts+protobuf实现登录功能
10-29
CocosCreator是一种基于 TypeScript的游戏开发引擎，而protobuf是一种数据序列化格式。要在CocosCreator中使用protobuf实现登录功能，首先需要进行以下几个步骤： 1. 下载protobuf库：在项目的assets目录中创建一个新的文件夹，例如"protobuf"，然后从protobuf官方网站上下载protobuf的JavaScript库文件，并将其解压到该文件夹中。 2. 创建.proto文件：在项目的assets目录中创建一个新的文件，例如"login.proto"，并在其中定义登录功能所需的消息结构。例如，可以定义一个"LoginRequest"消息，包含用户名和密码字段，并定义一个"LoginResponse"消息，表示登录结果。 3. 生成JavaScript代码：打开终端，进入到protobuf库所在的文件夹，执行以下命令来生成JavaScript代码文件： protoc --js_out=import_style=commonjs,binary:生成代码路径 -I=proto文件所在路径 proto文件 这将根据.proto文件生成对应的JavaScript代码文件，用于在CocosCreator中进行序列化和反序列化。 4. 在CocosCreator中使用protobuf：将生成的JavaScript代码文件拷贝到CocosCreator项目的assets目录中，然后在适当的地方引入protobuf库。 5. 编写登录功能代码：在需要实现登录功能的脚本文件中，使用引入的protobuf库来序列化登录请求数据，并将其发送到服务器，并处理服务器返回的响应数据。 总的来说，使用CocosCreator和protobuf实现登录功能需要先创建.proto文件，然后通过protobuf库生成对应的JavaScript代码文件，并将其引入项目中，在代码中使用protobuf库进行消息的序列化和反序列化，以实现与服务器的通信。这样就可以在CocosCreator中使用protobuf来实现登录功能了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值