分布式消息队列中间件系列研究之阿堂教程(基础篇-Local模式)

 为了考虑web架构的伸缩性，扩展性及重用性，目前许多大型门户网站及大平台，如淘宝网，天猫网，京东商城，当当网，及腾讯，Facebook等电商或社交网站,均大量采用中间件的设计，中间件又细分为业务流中间件，服务中间件，消息队列中间件，缓存中间件，数据库中间件，可以这样说，中间件在整个web架构设计中占有十分重要的地位，中间件设计的好坏直接影响到大型门户网站架构水平的高低和优劣。由于时间和精力的关系，这里阿堂主要是分享下对消息队列中间件的应用认识和理解。

 

       消息中间件在web分布式架构设计及性能优化方面有着非常重要的地位,目前，在很多大型网门户网站和商业大平台都有及为广泛的应用，如淘宝网，天猫网，京东商城，当当网，及腾讯，Facebook等电商或社交网站,都在大量使用。常见的开源消息中间件有mom4j,OpenJMS,UBerMQ,Hermes JMS, Presumo,JORAM,JMS4Spread,Open Message Queue,FFMQ,MQSSave/MQSLoad,HornetQ,Apache Qpid,Spring AMQP,Kafka,play-rabbitmq,队列消息系统 FQueue,ActiveMQ,Somnifugi ,MantaRay,MetaQ等。关于它们的差异和作用，在网上有相应的介绍，这里阿堂就不再说明了。有兴趣的网友们可以自行去研究。

 

       今天阿堂，主要和大家分享研究的是对Metaq这款分布式消息中间件的应用。

 

       MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，目前在淘宝和支付宝有着广泛的应用。

      MetaQ是一款完全的队列模型消息中间件，服务器使用Java语言编写，可在多种软硬件平台上部署。客户端支持Java、C++编程语言。单台服务器可支持1万以上个消息队列，通过扩容服务器，队列数几乎可任意横向扩展。每个队列都是持久化、长度无限（取决于磁盘空间大小）、并且可从队列任意位置开始消费。

 

     它具有的优势如下

     (1)文本协议设计，非常透明，支持类似memcached stats的协议来监控broker。
     (2)纯Java实现，从通讯到存储，从client到server都是重新实现。
     (3)提供事务支持，包括本地事务和XA分布式事务。
     (4)支持HA复制，包括异步复制和同步复制，保证消息的可靠性。
     (5)支持异步发送消息。
     (6)消费消息失败，支持本地恢复。
     (7)多种offset存储支持，数据库、磁盘、zookeeper，可自定义实现。
     (8)支持group commit，提升数据可靠性和吞吐量。（目前kafka已实现）
     (9)支持消息广播模式。
     (10)一系列配套项目：Python/Ruby/C/C++客户端、Twitter Storm的Spout、Tail4j等。

 

      关于消息队列应用的场景，实际上在商业应用中很多网站都在大量应用。阿堂这里随更举几个例子，大家就明白了。12306铁路购票网站，想必大家耳熟能详，去年及以前由于12306网站架构设计不好，经常出现网站并发访问量大时出现网站崩溃，提示服务出错或者说网站根本登录不进去，或者说抢到票时提交没有反应了。今年12306抢票网站就采用“消息队列中间件”来重构了12306网站，采用消息队列的排队机制,抢票时会提示“只有多少张票，目前已经有多少人在排队抢购了，票源不足”，比如说某车次只有10张票了，你前面已经有11人排队抢票了，当然输到你时就没有票了。这样一方面可以缓冲瞬时大量的高并发访问购票，二来对用户来说体验也比较好，因为人家是在你前面排队了，先来先得嘛。还有小米官网抢购手机时，也是用的这种“消息队列中间件”设计，先抢先得。还有一些电商平台的“秒杀抢购”，都是在使用“消息队列中间件”来设计的web架构,这样就可以解决瞬时涌入的大量高并发访问造成的网站压力。看到上面阿堂的举例，大家应该对“消息队列中间件”在大型网站中的重要性有了一个比较感官的认识了。

 

       为了了解MetaQ的使用，下面让我们先要了解和理解其中的一些重要概念解释。

   消息生产者
        也称为Message Producer，一般简称为producer，负责产生消息并发送消息到meta服务器。
   消息消费者
        也称为Message Consumer，一般简称为consumer，负责消息的消费，meta采用pull模型，由消费者主动从meta服务器拉取数据并解析成消息并消费。
    Topic
         消息的主题，由用户定义并在服务端配置。producer发送消息到某个topic下，consumer从某个topic下 消费消息。
    分区(partition)
         同一个topic下面还分为多个分区，如meta-test这个topic我们可以分为10个分区，分别有两台服务器提供，那么可能每台服务器提供5个分区，假设服务器id分别为0和1，则所有分区为0-0、0-1、0-2、0-3、0-4、1-0、1-1、1-2、1-3、1-4。
分区跟消费者的负载均衡机制有很大关系，具体见集群和负载均衡。
      Message
           消息，负载用户数据并在生产者、服务端和消费者之间传输。
      Broker
就是meta的服务端或者说服务器，在消息中间件中也通常称为broker。
      消费者分组(Group)
消费者可以是多个消费者共同消费一个topic下的消息，每个消费者消费部分消息。这些消费者就组成一个分组，拥有同一个分组名称,通常也称为消费者集群
      Offset
         消息在broker上的每个分区都是组织成一个文件列表，消费者拉取数据需要知道数据在文件中的偏移量，这个偏移量就是所谓offset。Offset是绝对偏移量，服务器会将offset转化为具体文件的相对偏移量。详细内容参见#消息的存储结构

 

为了说明metaq的使用，阿堂附上一个测试demo与大家分享，关于集群模式，阿堂会在下篇文章中继续分享

下面是阿堂在Local单机模式的测试效果图

1.安装，启动zookeeper

2.安装启动metaq服务器

3.在myeclipse编写代码测试

测试代码如下

public class Productor {
   public static void main(String[] args) throws Exception { 
          final MetaClientConfig metaClientConfig = new MetaClientConfig(); 
          final ZKConfig zkConfig = new ZKConfig(); 
          zkConfig.zkConnect = "192.168.1.101:2181"; 
          metaClientConfig.setZkConfig(zkConfig);  
          MessageProducer producer = sessionFactory.createProducer(); 
          final String topic = "test"; 
          producer.publish(topic); 
          BufferedReader reader = new BufferedReader(new InputStreamReader(System.in)); 
          String line = "网络时空(阿堂)"; 
          while ((line = reader.readLine()) != null) { 
              // send message 
              SendResult sendResult = producer.sendMessage(new Message(topic, line.getBytes())); 
              // check result 
              if (!sendResult.isSuccess()) { 
                  System.err.println("Send message failed,error message:" + sendResult.getErrorMessage());                  
              } 
              else { 
                  System.out.println("Send message successfully,sent to " + sendResult.getPartition()); 
//                  System.out.println("分区  ="+sendResult.getPartition().getPartition());
//                  System.out.println("broker  ="+sendResult.getPartition().getBrokerId());
              } 
          } 
      } 
}
 
---------------------------------------------------------------
public class Consumer {
 public static void main(String[] args) throws Exception { 
        final MetaClientConfig metaClientConfig = new MetaClientConfig(); 
        final ZKConfig zkConfig = new ZKConfig(); 
        zkConfig.zkConnect = "192.168.1.101:2181"; 
        metaClientConfig.setZkConfig(zkConfig); 
        MessageSessionFactory sessionFactory = new MetaMessageSessionFactory(metaClientConfig); 
        final String topic = "test"; 
        final String group = "meta-example";  

        MessageConsumer consumer = sessionFactory.createConsumer(new ConsumerConfig(group));  

        consumer.subscribe(topic, 1024 * 100, new MessageListener() { 
            public void recieveMessages(Message message) { 
                System.out.println("Receive message " + new String(message.getData())); 
//                System.out.println("分区 = "+message.getPartition().getPartition());
//                System.out.println("broker = "+message.getPartition().getBrokerId());
            }  

            public Executor getExecutor() { 
                return null; 
            } 
        });  
 
             consumer.completeSubscribe(); 
    } 
}