zeromq实践

最新推荐文章于 2021-08-16 20:54:36 发布
最新推荐文章于 2021-08-16 20:54:36 发布
阅读量206 收藏 1
点赞数
文章标签： java git 运维
原文链接：http://www.cnblogs.com/small-k/p/8270686.html
版权

zeromq简介

image

zeroMQ不是TCP，不是socket，也不是消息队列，而是这些的综合体。

ZeroMQ以嵌入式网络编程库的形式实现了一个并行开发框架（concurrency framework），
能够提供进程内(inproc)、进程间(IPC)、网络(TCP)和广播方式的消息信道，
并支持扇出(fan-out)、发布-订阅(pub-sub)、任务分发（task distribution）、请求/响应（request-reply）等通信模式。

ZeroMQ的异步I/O模型能够为多核消息系统提供足够的扩展性。

ZeroMQ支持30多种语言的API，可以用于绝大多数操作系统。

与socket对比

ZeroMQ提供了类似于Socket的一系列接口，他跟Socket的区别是：普通的socket是端到端的（1:1的关系），而ZMQ却是可以N：M 的关系，人们对BSD套接字的了解较多的是点对点的连接，点对点连接需要显式地建立连接、销毁连接、选择协议（TCP/UDP）和处理错误等，而ZMQ屏蔽了这些细节，让你的网络编程更为简单。ZMQ用于node与node间的通信，node可以是主机或者是进程。

ZeroMQ特点

ZeroMQ是一个传输层API库，
更关注消息的传输。与消息队列相比，ZeroMQ有以下一些特点：

1 点对点无中间节点.

传统的消息队列都需要一个消息服务器来存储转发消息。而ZeroMQ则放弃了这个模式，把侧重点放在了点对点的消息传输上。

ZeroMQ能缓存消息，但是是在发送端缓存。ZeroMQ里有水位设置的相关接口来控制缓存量。当然，ZeroMQ也支持传统的消息队列（通过zmq_device来实现）。

2 强调消息收发模式

在点对点的消息传输上ZeroMQ将通信的模式做了归纳，比如常见的订阅模式（一个消息发多个客户），分发模式（N个消息平均分给X个客户）等等。下面是目前支持的消息模式配对，任何一方都可以做为服务端。

  • PUB and SUB
  • REQ and REP
  • REQ and ROUTER (take care, REQ inserts an extra null frame)
  • DEALER and REP (take care, REP assumes a null frame)
  • DEALER and ROUTER
  • DEALER and DEALER
  • ROUTER and ROUTER
  • PUSH and PULL
  • PAIR and PAIR
    XPUB and XSUB是PUB and SUB的弱版本。

4种基本消息模式

ZeroMQ将消息通信分成4种模型，分别是一对一结对模型（Exclusive-Pair ）、请求回应模型（Request-Reply）、发布订阅模型（Publish-Subscribe）、推拉模型（Push-Pull）

Request-Reply请求回应模型

由请求端发起请求，然后等待回应端应答。一个请求必须对应一个回应，从请求端的角度来看是发-收配对，从回应端的角度是收-发对。跟一对一结对模型的区别在于请求端可以是1~N个。

应用场景:该模型主要用于远程调用及任务分配等。Echo服务就是这种经典模型的应用。
image

Publish-Subscribe发布订阅模型

发布端单向分发数据，且不关心是否把全部信息发送给订阅端。如果发布端开始发布信息时，订阅端尚未连接上来，则这些信息会被直接丢弃。订阅端未连接导致信息丢失的问题，可以通过与请求回应模型组合来解决。订阅端只负责接收，而不能反馈，且在订阅端消费速度慢于发布端的情况下，会在订阅端堆积数据。

应用场景:该模型主要用于数据分发。天气预报、微博明星粉丝可以应用这种经典模型。
image

注意事项：在此种模式在，SUB端在建立连接后，需要先订阅，才能接收消息，否则接收不到消息。示例如下:

ZMQ.Context context = ZMQ.context(1);
Socket subscriber = context.socket(ZMQ.SUB);
subscriber.connect("tcp://localhost:5557");
subscriber.subscribe("".getBytes());
int total = 0;
while (true) {
    byte[] bytes = subscriber.recv(0);
}

Subscribe按不同的topic主题过滤

//Publish端发送不同的topic主题
publisher.sendMore("access_point");
publisher.send(ipAddress.toByteArray(), ZMQ.NOBLOCK);
       
//topic filter过滤:根据topic过滤，不同的Subscribe订阅不同的数据    
subscriber.subscribe("access_point".getBytes());
while (true) {
    //接收topic
    byte[] bytesTopic  = subscriber.recv(0);
    // 接收数据
    byte[] bytesData = subscriber.recv(0);
}

Parallel Pipeline PUSH-PULL推拉模型 分而治之

Server端作为Push端，而Client端作为Pull端，如果有多个Client端同时连接到Server端，则Server端会在内部做一个负载均衡，采用平均分配的算法，将所有消息均衡发布到Client端上。与发布订阅模型相比，推拉模型在没有消费者的情况下，发布的消息不会被消耗掉；在消费者能力不够的情况下，能够提供多消费者并行消费解决方案。

应用场景:该模型主要用于多任务并行。
image

pair ：The Relay Race

信号模式一定是一对一的，这种模式可以代替信号量和互斥锁，用于协调线程。

image

安装

使用时，注意将防火墙端口关闭。

在CentOS下使用ZeroMQ

centos 安装 zeromq jzmq

#install zeromq
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
#./configure --prefix=/usr/local/zeromq  #按照此种方式，会报错，搞不定。
./configure
yum -y install libuuid-devel ##如果报错uuid-dev,安装此程序
make & make install

#install jzmq
(yum -y install libtool)
git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure 
make & make install

测试

/ddhome/usr/jzmq/perf
sh local_lat.sh tcp://127.0.0.1:5000 1 100
    如果报以下错误：
    Exception in thread "main" java.lang.UnsatisfiedLinkError: no jzmq in java.library.path
            at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
            at java.lang.Runtime.loadLibrary0(Runtime.java:823)
            at java.lang.System.loadLibrary(System.java:1028)
            at org.zeromq.ZMQ.<clinit>(ZMQ.java:34)
            at local_lat.main(local_lat.java:36)
    解决方案：(不是必选项)
    vi ~/.bashrc 
    export LD_LIBRARY_PATH=/usr/local/lib

报错：错误: 找不到或无法加载主类 remote_lat。这是因为未执行./configure

sh remote_lat.sh tcp://127.0.0.1:5000 1 100

#出现下面信息，则测试成功
message size: 1 [B]　　　　　　　　　　　　#####说明测试成功
roundtrip count: 100
mean latency: 140.0 [us]

在Windows10下使用ZeroMQ

本人只使用zeromq client接收数据，故未做编译安装，参考 ZeroMQ（Java）使用个人小心得，这里Mark一下（适用于windows64bit及32bit）,下载已编译好的文件。

已经编译好的文件，一般是三个：jzmq.dll，libzmq.dll，zmq.jar文件(这个maven中有)

两个dll文件放在jdk放置目录:%JAVA_HOME%/bin/.dll

<dependency>
    <groupId>org.zeromq</groupId>
    <artifactId>jzmq</artifactId>
    <version>2.2.0</version>
</dependency>

即可在idea中运行java代码编写的zeromq.

ZeroMQ进阶

iothread设置

When you create a new context, it starts with one I/O thread. The general rule of thumb is to allow one I/O thread per gigabyte of data in or out per second.

ZMQ.Context context = ZMQ.context(1); //1是iothread

Number of threads to use, usually 1 is sufficient for most use cases.
public static Context context(int ioThreads) {
        return new Context(ioThreads);
}

安全认证

zmq_plain(7)

clear-text authentication明文认证 Authentication Using SASL

The PLAIN mechanism defines a simple username/password mechanism that lets a server authenticate a client. PLAIN makes no attempt at security or confidentiality. It is intended for use on internal networks where security requirements are low. The PLAIN mechanism is defined by this document: http://rfc.zeromq.org/spec:24.内网使用，安全性低。

zmq_curve(7)

secure authentication and confidentiality安全的认证方式和保密方式

The CURVE mechanism defines a mechanism for secure authentication and confidentiality for communications between a client and a server. CURVE is intended for use on public networks. The CURVE mechanism is defined by this document: http://rfc.zeromq.org/spec:25.公网使用。

Pub-Sub Network with a Proxy 请求-应答代理

两种方式来连接多个客户端和多个服务端。

  • 第一种是让客户端通过负载均衡与多个服务端进行连接。
    image
  • 第二种是请求-应答代理会将两个套接字分别绑定到前端和后端，供客户端和服务端套接字连接。代理装置必须要是非阻塞式的。这种方式灵活性更好。
    image

The Request-Reply Mechanisms 高级请求-应答模式

联邦模式和同伴模式

image

The Naming Ceremony

image

The State Flow状态流

image

参考文献

tips:本文属于自己学习和实践过程的记录，很多图和文字都粘贴自网上文章，没有注明引用请包涵！如有任何问题请留言或邮件通知，我会及时回复。

转载于:https://www.cnblogs.com/small-k/p/8270686.html

ZeroMQ 消息模式简介 ——java版
junior_programmer的博客
12-20 1113
本介绍基于以下依赖 <dependency> <groupId>org.zeromq</groupId> <artifactId>jeromq</artifactId> <version>0.5.1</version> ...
mysql与zeromq结合_消息队列ZeroMQ实践
weixin_30474629的博客
02-02 233
一、ZeroMQ简介ZeroMQ被称为史上最快消息队列，它处于会话层之上，应用层之下，使用后台异步线程完成消息的接受和发送，完美的封装了Socket API，大大简化了编程人员的复杂度，被称为史上最强大的消息中间件。ZMQ是用C语言编写的，30us内完成消息的传输，能够兼容多个平台，多种语言，可以使用多种方式实现N对N的Socket连接。本文仅以JAVA版本的ZMQ API为例，介绍ZMQZMQ与...
Windows下VS2008使用ZeroMQ教程及实例之订阅与发布
02-19
内含简单项目代码及ZeroMQ使用教程，资源适合初学者，可以满足快速入门要求 下载ZeroMQ 下载网址：http://zeromq.org/intro:get-the-software 点击“Windows sources”下载zeromq-4.0.3.zip文件 编译ZeroMQ库文件 解压zeromq-4.0.3.zip文件，进入builds\msvc目录，用VS打开*.sln工程文件，编译生成解决方案。编译完成后，会在lib目录下生成dll和lib文件 编写简单的测试工程 1.用VS新建2个项目，一个是server端，一个是client端 2.将ZeroMQ源码项目的include目录下的两个文件“zmq.h”，“zmq_utils.h”拷贝至自己新建的工程 3.将ZeroMQ源码项目的lib目录下的两个文件“libzmq.dll”，“libzmq.lib”拷贝至自己新建的工程 4.将文件“zmq.h”，“zmq_utils.h”和“libzmq.lib”添加进自己新建的项目。
ZeroMQ实践之路(1)
Stephen___Qin的博客
03-27 400
前言 第一份工作中用到了ZMQ，后来面试的过程中被问到有没有研究过它的源码，如实回答没有看过，当时是真的加班太猛了，没有时间也没有意识去看。但自己计划表中一直列着这件事，今天抽出时间去实践一下这件事。 ZMQ的作者 ZeroMQ 的作者是Pieter Hintjens(1962–2016)，我是搜ZMQ的书籍时才知道的。他不仅是代码的主要贡献者，还是社区的创建者和维护者，也是《ZeroMQ:云时代极速消息通信库》这本书的作者。他在2010年被查出了癌症晚期，随后他动了多次手术并进行了半年多的化疗，在2011
ZeroMQ实践之路(2)
Stephen___Qin的博客
08-16 146
从网上找了一个ZMQ实现简单负载均衡的例子实验了一把:客户端同时连接两个启动的服务器,然后与服务器之间收发数据,你会发现程序会自动进行负载均衡操作–与两个服务器交替的通信. 客户端: /* * * g++ -o request request.cpp -lzmq * */ #include <zmq.h> #include <string.h> #include <stdio.h> #include <unistd.h> #include&lt
找不到或无法加载主类
qq_30299977的博客
01-05 1114
用cmd命令java UDPReceive出现了 “找不到或无法加载主类”错误 两个原因： 一、环境变量配置问题 java指令默认在寻找class文件的地址是通过CLASSPATH环境变量中指定的目录中寻找的。所以在CLASSPATH上加入“.” 表示在当前目录查找 二、package 这是类文件所在目录，packet是test 下面是代码 package test; import jav...
zeromq_java.rar_java zeromq_libzmq.lib _zeromq_zeromq java
09-24
**零MQ（ZeroMQ）** 是一款开源的消息中间件，它提供了一种高效、灵活的异步消息传递机制，广泛应用于分布式系统中的组件...通过深入学习和实践提供的示例，开发者可以掌握其核心原理，并将其应用于实际的软件开发中。
ZeroMQ初体验.rar_ZeroMQ初体验_zeromq
09-25
实践是最好的老师，尝试编写简单的ZeroMQ应用程序，比如创建一个发布者和订阅者，以理解其工作原理。 总结，ZeroMQ初体验的文档可能会包含如何安装ZeroMQ，如何创建和操作插座，以及如何应用不同消息模式的基础教程...
ZeroMQ-Guide.zip_ZeroMQ-Guide_zeromq
09-19
3. **实践案例**：通过实际的代码示例，演示如何在不同编程语言中使用 ZeroMQ 进行通信。 4. **高级主题**：探讨更复杂的主题，如错误处理、性能优化、负载均衡以及网络拓扑设计。 5. **最佳实践**：提供关于如何...
ZEROmq实例
07-15
**标题解析：** "ZEROmq实例" 这个标题表明我们关注的是ZeroMQ技术的一个具体应用实例，ZeroMQ是一个开源的消息中间件，它提供了一种高效...通过这些知识，开发者可以更深入地理解并实践ZeroMQ在分布式系统中的应用。
zeromq的pub-sub订阅模式的jave实现
02-10
zeromq的pub-sub订阅模式的jave实现，Eclipse下的maven工程，相关引用已在pom文件引入，可以直接运行。
zeromq简介
淡定我咔的博客
03-22 1138
zeroMQ不是TCP，不是socket，也不是消息队列，而是这些的综合体。 ZeroMQ以嵌入式网络编程库的形式实现了一个并行开发框架（concurrency framework）， 能够提供进程内(inproc)、进程间(IPC)、网络(TCP)和广播方式的消息信道， 并支持扇出(fan-out)、发布-订阅(pub-sub)、任务分发（task distribution）、请求/响应（re...
关于UDP数据报引发“异步错误”的疑问
weixin_30260399的博客
04-06 191
在UNP卷一第三版的第8章8.9小节中说到：如果udp服务器没有启动，udp客户端在使用sendto发送一行文本后，将会等待一个永远也不会出现的应答从而阻塞在recvfrom调用上。 由于服务器段不存在，那么客户端将得到ICMP差错报文，但是这个差错却不返回给UDP，因为recvfrom仅能返回errno值。 在这里有两个疑问： 1.recvfrom可以返回至少3个值：一个是函数的返回值，两...
java zmq订阅_从ZMQ PUB套接字获取订户过滤器
weixin_34996214的博客
03-07 454
使用 zmq.XPUB 套接字类型，有一种方法可以检测新用户和离开用户 . 以下代码示例显示了如何：# Publisher sideimport zmqctx = zmq.Context.instance()xpub_socket = ctx.socket(zmq.XPUB)xpub_socket.bind("tcp://*:%d" % port_nr)poller = zmq.Poller()p...
浅析网络开发框架——ZeroMQ
梦里花
02-22 1万+
据官方文档介绍，ZeroMQ是一个可伸缩的分布式或者高并发的异步网络消息库。不同于其他的服务，例如RabbitMQ等消息队列服务，是以一种可独立运营的服务存在，ZeroMQ更像是一套socket library，是对BSD socket进行的上层封装。在传统的BSD网络开发模型中，采用的是socket与socket之间的消息传输，即1：1的消息传输链接，在ZeroMQ中是node与node之间的消息传输，node之间存在多条数据链接，即N： M的消息传输链接。ZeroMQ在底层实现了关于进程通信、网络通信、
ElasticSearch-安装以及常见错误
热门推荐
千里之行始于足下
12-21 1万+
ElasticSearch安装常见错误      ElasticSearch是一个用Java开发的基于Lucene的搜索服务器。它可以提供一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。现阶段它主要为Apache许可条款下的开放源码发布，也是当前流行的企业级搜索引擎。Elasticsearch设计主要用于云计算中，ElasticSearch实时搜索，稳定，可靠，快速，安装使
ZeroMQ研究与应用分析
kobejayandy的专栏
09-15 3281
1  ZeroMQ概述 ZeroMQ是一种基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象，提供跨越多种传输协议的套接字。ZeroMQ是网络通信中新的一层，介于应用层和传输层之间（按照TCP/IP划分），其是一个可伸缩层，可并行运行，分散在分布式系统间。 2  系统架构 2.1 总体架构 ZeroMQ几乎所有的I/O操作都是异
ZeroMQ订阅发布 在Java中的简单使用示例
bobo_bc的博客
04-13 1073
引入jar包 <!-- https://mvnrepository.com/artifact/org.zeromq/jeromq --> <dependency> <groupId>org.zeromq</groupId> <artifactId>jero...
ZeroMQ技术深度探索与实践指南
"ZeroMQ学习资料" ZeroMQ（也称为0MQ或ZMQ）是一个强大的开源网络通信库，它提供了一种高效、轻量级且灵活的方式来构建分布式系统。这个库支持多种编程语言，允许开发者在不同的语言环境中无缝地进行跨平台通信。它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值