目录
除了本人另外一篇博客的 Kafka 记录(https://blog.csdn.net/Beth_Chan/article/details/111189133)外,其他MQ实现还有 RabbitMQ,RocketMQ,ActiveMQ,IBM Websphere MQ,Solace等。
公司 Java ETL 除了Active MQ 还使用了 Solace(https://solace.com,是一个 Event-driven Pub/Sub)和 IBM Websphere MQ。
下面简单介绍一下 JMS,Solace,ActiveMQ,JMS集成Spring的应用,IBM MQ详见另一篇文章(https://blog.csdn.net/Beth_Chan/article/details/124698408)。
JMS
JMS是一个Java标准,定义了使用消息代理(message broker)的通用API,最早于2001年提出。长期以来,JMS一直是实现异步消息的首选方案。在JMS出现之前,每个消息代理都有私有的API,这就使得不同代理之间的消息代码很难通用。但是借助JMS,所有遵从规范的实现都使用通用的接口,这就好像JDBC为数据库操作提供了通用的接口一样。JMS是由标准Java规范定义的,所以它得到了众多代理实现的支持,在Java中实现消息时它是常见的可选方案。但是JMS有一些缺点,尤其是作为Java规范,它只能用在Java应用中。RabbitMQ和Kafka等较新的消息传递方案克服了这些缺点,可以用于JVM之外的其他语言和平台。
JMS编码总体架构:
Spring对JMS的支持,包括JmsTemplate和消息驱动POJO。在发送和接收消息之前,首先需要一个消息代理(broker),它能够在消息的生产者和消费者之间传递消息。
需要使用ActiveMQ特定的属性:
使用了一个名为spring.activemq.broker-url的属性来指定代理的地址。URL应该是“tcp://”协议的地址。ActiveMQ的JMS默认端口是61616,管理控制台默认端口是8161。如果是在本地开发运行,那么你都不需要配置这些属性。但是,如果你选择使用ActiveMQ,需要将spring.activemq.in-memory属性设置为false,防止Spring启动内存中运行的代理。内存中运行的代理看起来很有用,但是只有同一个应用发布和消费消息时才能使用它。
启动是官网下载后,解压,进入到对应bin下,./activemq start
使用JmsTemplate发送消息
将JmsTemplate注入到其他bean中,并使用它来发送和接收消息。JmsTemplate实际上只有两大类方法,send()和convertAndSend(),每个方法都有重载形式以支持不同的参数。
- 3个send()方法都需要MessageCreator来生成Message对象。
- 3个convertAndSend()方法会接受Object对象,并且会在幕后自动将Object转换为Message。
- 3个convertAndSend()会自动将Object转换为Message,但同时还能接受一个MessagePostProcessor对象,用来在发送之前对Message进行自定义。
这3种方法分类都分别包含3个重载方法,它们的区别在于如何指定JMS的目的地(队列或主题)。
- 有1个方法不接受目的地参数,它会将消息发送至默认的目的地。
- 有1个方法接受Destination对象,该对象指定了消息的目的地。
- 有1个方法接受String,它通过名字的形式指定了消息的目的地。
接收JMS消息
在消费消息的时候,我们可以选择拉取模式(pull model)和推送模式(pushmodel),前者会在我们的代码中请求消息并一直等待直到消息到达为止,而后者则会在消息可用的时候自动在你的代码中执行。JmsTemplate提供了多种方式来接收消息,但它们使用的都是拉取模式。我们可以调用其中的某个方法来请求消息,而线程会一直阻塞到一个消息抵达为止(这可能马上发生,也可能需要等待一会儿)。另外,我们也可以使用推送模式,在这种情况下,我们会定义一个消息监听器,每当有消息可用时,它就会被调用。这两种方案能够适用于各种用户场景。人们普遍觉得推送模式是更好的方案,因为它不会阻塞线程;但是,在某些场景下,如果消息抵达的速度太快,那么监听器可能会过载。而拉取模式允许消费者声明它们何时才为接收新消息做好准备。
JmsTemplate提供了多个对代理的拉取方法,简直就是JmsTemplate中send()和convertAndSend()方法的镜像。receive()方法接收原始的Message,而receiveAndConvert()则会使用一个配置好的消息转换器将消息转换成领域对象。对于其中的每种方法,我们都可以指定Destination或者包含目的地名称的String值,否则,我们将会从默认目的地拉取消息。
如何通过声明JMS监听器来实现推送模式
要创建能够对JMS消息做出反应的消息监听器,我们需要为组件中的某个方法添加@JmsListener注解。
ActiveMQ
在公司谷歌云的实验中,跟其他组里的人通过MQ处理数据,使用了MQ。为了在本地方便快速测试,采取在本地安装并使用 ActiveMQ。
ActiveMQ 官网下载:
https://mirrors.bfsu.edu.cn/apache/activemq/5.15.14/
Mac下载tar.gz包解压后,cd 到 bin 对应的文件夹中,执行 ./macosx/activemq start(Windows下载zip包解压后,也是bin里执行activemq start的操作)
用户名和密码均为 admin(如果想修改用户名和密码的话,在conf/jetty-realm.properties中修改即可),登录成功后:
- Queues是队列方式消息
- Topics是主题方式消息
- Subscribers消息订阅监控查询
- Connections可以查看链接数,分别可以查看xmpp、ssl、stomp、openwire、ws和网络链接
- Network是网络链接数监控
- Scheduler是定时消息投递
- Send可以发送消息数据
ActiveMQ:
发送者发送消息到消息服务器,消息服务器将消息存放在队列/主题中。
1. 点对点方式(point-to-point): Destination叫队列;队列生产者,队列消费者
点对点的消息发送方式主要建立在 Message Queue,Sender,reciever上,Message Queue 存贮消息,Sender 发送消息,Receive接收消息。具体点就是Sender Client发送Message Queue ,而 receiver Cliernt从Queue中接收消息和”发送消息已接受”到Quere,确认消息接收。消息发送客户端与接收客户端没有时间上的依赖,发送客户端可以在任何时刻发送信息到Queue,而不需要知道接收客户端是不是在运行
2. 发布/订阅 方式(publish/subscriber Messaging): Destination叫主题;主题生产者,主题消费者
发布/订阅方式用于多接收客户端的方式.作为发布订阅的方式,可能存在多个接收客户端,并且接收端客户端与发送客户端存在时间上的依赖。一个接收端只能接收他创建以后发送客户端发送的信息。作为subscriber ,在接收消息时有两种方法,destination的receive方法,和实现message listener 接口的onMessage 方法。
用Java代码实现收发消息
1. 使用JMS方式发送接收消息
发送方
import org.apache.activemq.ActiveMQConnectionFactory;
import javax.jms.*;
public class JmsProducer {
private static final String BROKEN_URL = "tcp://192.168.0.107:61616";
private static final String QUEUE_NAME = "beth-queue";
public static void main(String[] args) throws JMSException {
ActiveMQConnectionFactory activeMQConnectionFactory = new ActiveMQConnectionFactory(BROKEN_URL);
Connection connection = activeMQConnectionFactory.createConnection();
connection.start();
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
Queue queue = session.createQueue(QUEUE_NAME);
MessageProducer messageProducer = session.createProducer(queue);
// 使用MessageProducer生产3条消息发送到MQ的队列里
for (int i = 1; i <= 3; i++) {
TextMessage textMessage = session.createTextMessage("msg ------- " + i);
messageProducer.send(textMessage);
}
messageProducer.close();
session.close();
connection.close();
System.out.println("消息发布到MQ完成");
}
}
运行输出:
控制台:
接收方
import org.apache.activemq.ActiveMQConnectionFactory;
import javax.jms.*;
public class JmsConsumer {
private static final String BROKEN_URL = "tcp://192.168.0.107:61616";
private static final String QUEUE_NAME = "beth-queue";
public static void main(String[] args) throws JMSException {
ActiveMQConnectionFactory activeMQConnectionFactory = new ActiveMQConnectionFactory(BROKEN_URL);
Connection connection = activeMQConnectionFactory.createConnection();
connection.start();
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
Queue queue = session.createQueue(QUEUE_NAME);
MessageConsumer messageConsumer = session.createConsumer(queue);
// 使用MessageProducer生产3条消息发送到MQ的队列里
while(true) {
// receive可以加timeout
TextMessage textMessage = (TextMessage)messageConsumer.receive();
if (textMessage != null) {
System.out.println("消费者接收到消息:" + textMessage.getText());
} else {
break;
}
}
messageConsumer.close();
session.close();
connection.close();
System.out.println("消息发布到MQ完成");
}
}
运行输出:
控制台:
也可以通过监听Listener方式消费:
import org.apache.activemq.ActiveMQConnectionFactory;
import javax.jms.*;
import java.io.IOException;
public class JmsListenerConsumer {
private static final String BROKEN_URL = "tcp://192.168.0.107:61616";
private static final String QUEUE_NAME = "beth-queue";
public static void main(String[] args) throws JMSException, IOException {
ActiveMQConnectionFactory activeMQConnectionFactory = new ActiveMQConnectionFactory(BROKEN_URL);
Connection connection = activeMQConnectionFactory.createConnection();
connection.start();
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
Queue queue = session.createQueue(QUEUE_NAME);
MessageConsumer messageConsumer = session.createConsumer(queue);
messageConsumer.setMessageListener(new MessageListener() {
public void onMessage(Message message) {
if (message != null && message instanceof TextMessage) {
TextMessage textMessage = (TextMessage) message;
try {
System.out.println(textMessage.getText());
} catch (JMSException e) {
e.printStackTrace();
}
}
}
});
System.in.read();
messageConsumer.close();
session.close();
connection.close();
}
}
运行输出:
Topic类的就可以把:
Queue queue = session.createQueue(QUEUE_NAME);
改成以下即可
Topic topic = session.createTopic(TOPIC_NAME);
发送方也是对应从Queue改成Topic:
2. 在SpringBoot中使用ActiveMQ
pom.xml
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-activemq</artifactId>
</dependency>
application.yml (注意broker-url里ip必须改成你自己对应的ip)
server:
port: 9090
spring:
activemq:
broker-url: tcp://192.168.0.107:61616
user: admin
password: admin
queueName: beth-boot-queue
发送方:
@Component
@EnableJms
public class ActiveMQConfig {
@Value("${queueName}")
private String queueName;
@Bean
public Queue queue(){
return new ActiveMQQueue(queueName);
}
}
@Component
// @EnableScheduling
public class QueueProducer {
@Autowired
private JmsMessagingTemplate jmsMessagingTemplate;
@Autowired
private Queue queue;
// @Scheduled(fixedDelay = 3000)//每3s执行1次,将消息放入队列内
public void produceMsg() {
this.jmsMessagingTemplate.convertAndSend(queue, UUID.randomUUID().toString().substring(0,6));
}
}
@SpringBootApplication
// @EnableScheduling
public class MainAppProducer {
public static void main(String[] args) {
SpringApplication.run(MainAppProducer.class, args);
}
}
运行单元测试:
package com.beth.springbootactivemq;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.test.context.web.WebAppConfiguration;
import javax.annotation.Resource;
@SpringBootTest(classes = MainAppProducer.class)
@RunWith(SpringJUnit4ClassRunner.class)
@WebAppConfiguration
public class TestActiveMQ {
@Resource
private QueueProducer queueProducer;
@Test
public void testSend() throws Exception {
queueProducer.produceMsg();
}
}
testSend run一下就会有一条message,或者打开启动类和produceMsg方法的Schedule相关注解运行,就可以每3s自动发送一条msg:
接收方:
@Component
public class QueueConsumer {
@JmsListener(destination = "${queueName}")
public void receive(TextMessage textMessage) throws JMSException {
System.out.println("消费者接收到消息:"+textMessage.getText());
}
}
启动运行后的输出:
Topic的话,同样的代码,只需把 XXXQueue 相关的类都换成 XXXTopic 即可。
Solace
- soladm
其他team的人会把源文件会发送至Solace,solace.provider=smf://<Server Host name>,Server Host name可以有不同的Management Host name,比如Server Host是XXXprodXXX,Management Host可以有XXXprod01,XXXprod02;soladm 工具 里的连接信息需要填Management Host,Managerment Port是默认的80,User Name(个人账号必须要有Admin权限)和账号密码。solace.principal是<acurrent_user>@<Message VPN name>
- JMQXplorer
公司电脑使用的客户端连接工具是 JMQXplorer,连接MQ时需要输入对应Host,Port,可查看Queue详细情况等; Java ETL 项目代码中的配置文件有MQ的相关配置,包括MQhost,MQport,MQmgr,MQtimeout,Queue的名字。