java mq编程,手写MQ框架（三）-客户端实现，

最新推荐文章于 2024-08-02 21:07:00 发布
最新推荐文章于 2024-08-02 21:07:00 发布
阅读量448 收藏
点赞数
文章标签： java mq编程

手写MQ框架(三)-客户端实现，

一、背景

书接手写MQ框架(二)-服务端实现  ，前面介绍了服务端的实现。但是具体使用框架过程中，用户肯定是以客户端的形式跟服务端打交道的。客户端的好坏直接影响了框架使用的便利性。

虽然框架目前是通过web的形式提供功能的，但是某的目标其实是通过socket实现，所以不仅需要有客户端，还要包装一下，让用户在使用过程中不需要关心服务端是如何实现的。

简单来说，就是客户端使用必须方便。

二、客户端实现

1、HttpUtil

目前客户端的核心功能是HttpUtil这个类，使用httpClient实现的，主要是为了请求服务端。

具体实现如下：

packagecom.shuimutong.gmq.client.util;importjava.io.IOException;importjava.net.URISyntaxException;importjava.util.ArrayList;importjava.util.List;importjava.util.Map;importorg.apache.http.HttpEntity;importorg.apache.http.NameValuePair;importorg.apache.http.client.entity.UrlEncodedFormEntity;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.methods.HttpGet;importorg.apache.http.client.methods.HttpPost;importorg.apache.http.client.utils.URIBuilder;importorg.apache.http.impl.client.CloseableHttpClient;importorg.apache.http.impl.client.HttpClients;importorg.apache.http.message.BasicNameValuePair;importorg.apache.http.util.EntityUtils;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importcom.shuimutong.gmq.client.bean.HttpResponseBean;importcom.shuimutong.gutil.common.GUtilCommonUtil;/*** http请求工具类

* @ClassName: HttpUtil

* @Description:(这里用一句话描述这个类的作用)

*@author: 水木桶

* @date: 2019年10月29日 下午9:43:54

* @Copyright: 2019 [水木桶] All rights reserved.*/

public classHttpUtil {private final static Logger log = LoggerFactory.getLogger(HttpUtil.class);private static CloseableHttpClient HTTP_CLIENT =HttpClients.createMinimal();static{

Runtime.getRuntime().addShutdownHook(newThread() {

@Overridepublic voidrun() {try{

HTTP_CLIENT.close();

}catch(IOException e) {

log.error("HTTP_CLIENT-closeException", e);

}

}

});

}/*** get请求

*

*@paramurl

*@return*@throwsIOException*/

public static HttpResponseBean get(String url) throwsIOException {

HttpResponseBean responseBean= null;

HttpGet httpGet= newHttpGet(url);

CloseableHttpResponse res=HTTP_CLIENT.execute(httpGet);try{

HttpEntity httpEntity=res.getEntity();

String body=EntityUtils.toString(httpEntity);

responseBean= newHttpResponseBean(res.getStatusLine(), body);

EntityUtils.consume(httpEntity);

}finally{

res.close();

}returnresponseBean;

}/*** 带参数的get请求

*@paramurl

*@paramrequsetParams

*@return*@throwsIOException

*@throwsURISyntaxException*/

public static HttpResponseBean get(String url, Map requsetParams) throwsIOException {

HttpResponseBean responseBean= null;

HttpGet httpGet;try{

URIBuilder uriBuilder= newURIBuilder(url);if(!GUtilCommonUtil.checkListEmpty(requsetParams)) {

List nvps = new ArrayList();

requsetParams.forEach((k,v)->{

nvps.add(newBasicNameValuePair(k, v));

});

uriBuilder.setParameters(nvps);

}

httpGet= newHttpGet(uriBuilder.build());

}catch(Exception e) {throw newIOException(e);

}

CloseableHttpResponse res=HTTP_CLIENT.execute(httpGet);try{

HttpEntity httpEntity=res.getEntity();

String body=EntityUtils.toString(httpEntity);

responseBean= newHttpResponseBean(res.getStatusLine(), body);

EntityUtils.consume(httpEntity);

}finally{

res.close();

}returnresponseBean;

}/*** post请求

*@paramurl

*@paramrequsetParams

*@return*@throwsIOException*/

public static HttpResponseBean post(String url, Map requsetParams) throwsIOException {

HttpResponseBean responseBean= null;

HttpPost httpPost= newHttpPost(url);if(!GUtilCommonUtil.checkListEmpty(requsetParams)) {

List nvps = new ArrayList();

requsetParams.forEach((k,v)->{

nvps.add(newBasicNameValuePair(k, v));

});

httpPost.setEntity(newUrlEncodedFormEntity(nvps));

}

CloseableHttpResponse response=HTTP_CLIENT.execute(httpPost);try{

HttpEntity httpEntity=response.getEntity();

String body=EntityUtils.toString(httpEntity);

responseBean= newHttpResponseBean(response.getStatusLine(), body);

EntityUtils.consume(httpEntity);

}finally{

response.close();

}returnresponseBean;

}

}

封装了get请求和post请求，封装了响应结果。

加了一个钩子，在jvm关闭时能够主动关闭创建的资源。

2、订阅消息、生产消息

这两部分主要就是调用上面的HttpUtil，然后将结果包装一下。

具体代码请参考前文的git。

3、实例管理

为了使得用户不需要关心具体实现，所以建了实例管理类。

packagecom.shuimutong.gmq.client.util;importcom.shuimutong.gmq.client.cache.CommonObjCache;importcom.shuimutong.gmq.client.cache.impl.CommonObjCacheImpl;importcom.shuimutong.gmq.client.consumer.GmqConsumer;importcom.shuimutong.gmq.client.producer.GmqProducer;public classGmqInstanceManage {public staticGmqProducer getGmqProducer(String gmqServerUrl) {return newGmqProducer(gmqServerUrl);

}public staticGmqConsumer getGmqConsumer(String gmqServerUrl) {return newGmqConsumer(gmqServerUrl);

}public staticCommonObjCache getCommonCache(String serverUrl) {return newCommonObjCacheImpl(serverUrl);

}

}

主要是为了封装变化。因为之后再迭代的话，实例的具体实现肯定不是目前这么简单，所以要尽量让使用者少关心具体实现。

使用时关心的越多，后续项目迭代肯定越困难。

三、使用示例

1、生产消息

@Testpublic voidproduceMsg() {

GmqProducer producer=GmqInstanceManage.getGmqProducer(gmqServerUrl);for(int i=0; i<5; i++) {

String message= "message:" +i;try{

SendMqResult res=producer.sendMq(topic, message);

System.out.println(res.getRes());

}catch(SendMqException e) {

e.printStackTrace();

}

}

}

2、消费消息

主要思路是：消费消息之前，先查询当前已经消费到了哪条消息。消息消费之后，将消费的编号存入缓存。

典型的主动拉消息，消息是否消费由自己负责的模式。

实现如下：

@Testpublic voidcomsumerMsgByCache() {

GmqConsumer comsumer=GmqInstanceManage.getGmqConsumer(gmqServerUrl);

CommonObjCache commonCache=GmqInstanceManage.getCommonCache(gmqServerUrl);

String gmqSign= "gmq_consumer_id";long consumerId = 0;int size = 2;for(int i=0; i<5; i++) {try{

CacheObj cacheId=commonCache.getById(gmqSign);if(cacheId != null) {

consumerId=Long.parseLong(cacheId.getContent());

}

List res =comsumer.getMq(topic, consumerId, size);for(MqContent mq : res) {

System.out.println(JSONObject.toJSONString(mq));if(mq.getId() >consumerId) {

consumerId=mq.getId();

}

}

commonCache.save(gmqSign, String.valueOf(consumerId));

System.out.println("保存consumerId:" +consumerId);

}catch(Exception e) {

e.printStackTrace();

}

}

}

四、总结

gmq的初版至今已经完成，当然这只是开始。

后续计划先将gmvc框架替换掉，直接使用netty进行通信。

然后把消息存到数据库改为存到磁盘上。

然后就是服务的高可用改造。

届时欢迎指导。

第2版设计、开发中……

http://www.dengb.com/Javabc/1381861.htmlwww.dengb.comtruehttp://www.dengb.com/Javabc/1381861.htmlTechArticle手写MQ框架(三)-客户端实现， 一、背景 书接手写MQ框架(二)-服务端实现 ，前面介绍了服务端的实现。但是具体使用框架过程中，用户...

Duo小妖
关注
为初学者而来~手工最简MQ（三）Client
ESOO
10-16 995
2，client 2.1 连接管理 通过netty与mq服务器进行连接，并相应生产者与消费者的请求，通过netty自带的序列化工具，将消息序列化未byte字节进行传输 2.1.1 服务启动，连接broker package com.esoo.mq.client.connection; import io.netty.bootstrap.Bootstrap; import io.netty.buffer.PooledByteBufAllocator; import io.netty.channel.*; i
手写MQ框架：使用netty改造梳理
c98136202zig的博客
01-01 304
netty是什么 Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 --来自https://www.w3cschool.cn/netty4userguide/52ki1iey.html netty是一个java框架，是网络编程框架，支持异步、事件驱动的特性，所以性能表现很好。...
手写MQ，多线程模拟
CJ_L1995的博客
05-04 557
手写MQ，多线程模拟
RabbitMQ（三）Java客户端
最新发布
weixin_73253843的博客
08-02 1276
多个消费者绑定到一个队列中，可以加快消息处理速度同一条消息只会被一个消费者处理通过设置prefetch来控制消费者领取的消息数量，处理完一条再处理下一条，实现能者多劳。
手写一个简单的MQ消息队列
weixin_42129558的博客
10-07 4463
package com.bjsxt.base.conn009; import java.util.LinkedList; import java.util.concurrent.TimeUnit; import java.util.concurrent.atomic.AtomicInteger; public class MyQueue1 {     //创建一个装队列的容器     priv...
✔ ★Java项目——设计一个消息队列（一）【消息队列的背景知识、项目的需求分析、项目的模块划分】
蓝天it（让亿万孩子在蓝天下共享优质教育）
04-06 775
另⼀⽅⾯, Producer 和 Consumer 则通过⽹络的⽅式, 远程调⽤这些 API, 实现 ⽣产者消费者模型.• Topic 是发⼀个画图红包, 发 10 块钱红包, 同时出个题, 得画的像的⼈, 才能领. 也是每个领到的⼈。在实际的后端开发中, 尤其是分布式系统⾥, 跨主机之间使⽤⽣产者消费者模型, 也是⾮常普遍的需求.⼿动应答的⽬的, 是为了保证消息确实被消费者处理成功了. 在⼀些对于数据可靠性要求⾼的场景, ⽐。
Java面试题大全（整理版）1000+面试题附答案详解，最全面详细，看完稳了
热门推荐
m0_67322837的博客
05-11 6万+
进大厂是大部分程序员的梦想，而进大厂的门槛也是比较高的，所以这里整理了一份阿里、美团、滴滴、头条等大厂面试大全，其中概括的知识点有：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、 Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈共有1000+道面试题。 对于Java后端的朋友来说应该是最全面最完整的面试备战仓库，为了更好地整理每个模块，我也参考了很多网上的
Java个人总结系列-Java常用框架介绍
嗨
06-30 2809
java编程思想总结（三）java编程思想总结是一个持续更新的系列，是本人对自己多年工作中使用到java的一个经验性总结，也是温故而知新吧，因为很多基础的东西过了这么多年，平时工作中用不到也会遗忘掉，所以看看书，上上网，查查资料，也算是记录下自己的笔记吧，过一段时间之后再来看看也是蛮不错的，也希望能帮助到正在学习的人们，本系列将要总结一下几点： 面向对象的编程思想 java的基本语法 一些有趣的框架
2024Java常见笔试题，java面试简历专业技能
2401_84413631的博客
04-20 1404
请解释一下什么是 Nginx?请列举 x Nginx 的一些特性。请列举 x Nginx 和 和 Apache 之间的不同点请解释 x Nginx 如何处理 P HTTP 请求。在 x Nginx 中，如何使用未定义的服务器名称来阻止处理请求?使用 “ 反向代理服务器 ”请列举 x Nginx 服务器的最佳用途。请解释 x Nginx 服务器上的 r Master 和 和 r Worker 进程分别是什么?请解释你如何通过不同于 0 80 的端口开启 Nginx?
【Spring注解驱动开发】牛客网java编程题
05-25 137
一、码场心得 你是个能吃苦的人吗？ 从前的能吃苦大多指的体力劳动的苦，但现在的能吃苦已经包括太多维度，包括：读书学习&寂寞的苦、深度思考&脑力的苦、自律习惯&修行的苦、自控能力&放弃的苦、低头做人&尊严的苦。 虽然这些苦摆在眼前，但大多数人还是喜欢吃简单的苦。熬夜加班、日复一日、重复昨天、CRUD，最后身体发胖、体质下降、能力不足、自抱自泣！所以有些苦能不吃就不吃，要吃就吃那些有成长价值的苦。 今天你坚持了吗？ 如果一件小事能坚持5年以上，那你一定是很了不起的人。是
activeMQ 服务端客户端 java代码
10-09
activeMQ 服务端客户端 java代码 activeMQ 服务端客户端 java代码
JAVA实现MQ发送接收消息详解
03-22
JAVA实现MQ发送接收消息详解 MQ配置文档 MQ配置
javaMQ发送
04-16
使用java反复发送文件夹里的文件
MQ java 基础编程(一)
feihoo88的专栏
01-30 1803
MQ java 基础编程（一）编写人：邬文俊编写时间：2006-2-16联系邮件:wenjunwu430@gmail.com前言通过2个多星期对MQ学习，在partner 丁 & partner 武 的帮助下完成了该文档。该文档提供一个简单的例子，通过对该例子的讲解，你将知道：1.        用java写客户端从MQ Server收发消息。2.        MQ
Java项目之消息队列（手写java模拟实现mq）【二、实现消息队列的重点核心类 以及 用Sqlite存储】✔ ★（创建核心类、数据库配置、封装数据库、测试封装数据库操作）
蓝天it（让亿万孩子在蓝天下共享优质教育）
05-31 666
SQLite 只是⼀个动态库(当然, 官⽅也提供了可执⾏程序 exe), 我们在 Java 中直接引⼊ SQLite 依赖, 即可直接使⽤, 不必安装其他的软件.对于 Exchange, MSGQueue, Binding, 我们使⽤数据库进⾏持久化保存.此处我们约定, 把数据库⽂件放到 ./data/meta.db 中.使⽤ Spring ⾃带的单元测试, 针对上述代码进⾏测试验证.此处我们使⽤的数据库是 SQLite, 是⼀个更轻量的数据库.给 mapper.MetaMapper 中添加。
java mq编程_MQ java 基础编程
weixin_33208553的博客
02-27 286
MQ java 基础编程编写人：邬文俊编写时间 ： 2006-2-16联系邮件 : wenjunwu430@gmail.com前言通过 2 个多星期对 MQ 学习，在 partner 丁 & partner 武 的帮助下完成了该文档。该文档提供一个简单的例子，通过对该例子的讲解，你将知道：1. 用 java 写客户端从 MQ Server 收发消息。2. M...
java mq_理解JAVA MQ消息中间件
weixin_34943809的博客
02-12 261
MQ的几种消息传递方式发布订阅模式发布订阅模式有点类似于我们日常生活中订阅报纸。每年到年尾的时候，邮局就会发一本报纸集合让我们来选择订阅哪一个。在这个表里头列了所有出版发行的报纸，那么对于我们每一个订阅者来说，我们可以选择一份或者多份报纸。比如北京日报、潇湘晨报等。那么这些个我们订阅的报纸，就相当于发布订阅模式里的topic。有很多个人订阅报纸，也有人可能和我订阅了相同的报纸。那么，在这里，相当于...
手写MQ消息中间件（基于netty实现）
祁_z
12-07 1410
实现代码：https://pan.baidu.com/s/1YLD3t7OExJZBrRHYEpF1DA 通讯协议，什么是协议？ 如：生产者投递消息到mq服务器之间的通讯如何定义格式就叫协议，（mq协议是amqp协议，是mq作者自己起的通讯协议名称）。 流程图 实现流程: 1.生产者把消息投递到netty服务，消费者自己取。 2.生产者把消息投递到netty服务，自动发送给消费者。...
RabbitMQ——java客户端访问
qq_41591866的博客
07-24 468
RabbitMQ 一个轻量级的消息代理中间件，它支持多种消息通信协议，支持分布式部 署，同时也支持运行于多个操作系统，具有灵活、高可用等特性 RabbitMQ 支持多 协议 其中最为重要的是高级消息队列协议(AMQP), AMQP 是Advanced Message Queuing Protocol 的缩写 它定义了“消息 户端”与“消息代理中间件” 之间的通信协议。基于该协议，消息客...
Java编程实现MQ消息发送与接收步骤解析
总结来说，通过Java实现MQ消息的发送和接收，开发者需要理解MQ的基本概念，如队列管理器、队列和通道的配置，以及如何使用IBM提供的MQJava API进行编程。这使得应用程序能够跨网络高效、可靠地交换数据，尤其适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值