Java使用starling分布式消息队列异步处理事务

扬州宇尚网络科技有限公司

于 2012-11-08 11:13:18 发布

阅读量844

点赞数

分类专栏： MessageQueue Server Memcached Java

Java 同时被 3 个专栏收录

66 篇文章 0 订阅

订阅专栏

Memcached

7 篇文章 0 订阅

订阅专栏

MessageQueue Server

4 篇文章 0 订阅

订阅专栏

介绍:
   Starling是一个支持MemCache协议的轻量级持久化服务器。Starling是让创建网络访问队列或者多个队列异常简单，也就是说多点和多台机器间的异步工作进程。它是著名微博客网站Twitter开发用来处理大量的队列消息，以及保持服务的响应。Starling已经在生产环境中使用，不仅是Twitter在使用，FiveRuns同样在使用。FiveRuns甚至还根据自己的应用做了改进，他们认为网站速度快了很多.
   这是一个支持memcache协议的轻量级持久化服务器，因此使用php/perl/ruby/java等多种客户端都没问题，可以将较慢的处理逻辑通过消息队列放在后台处理，同时也支持多点分布式处理。
   由于starling是目前twitter在生产环境中运行的，经过实践检验过，稳定性应该不成问题。

安装:
1.安装linux下的开发工具包,最好使用red hat的添加删除程序安装.
(1) 在可视化窗口下载打开"添加删除程序",找到"开发->开发工具"打钩,更新.插入对应的linux安装盘.
2.安装ruby和ruby gem
(1)安装钱的准备
检查系统是否已经安装了 ruby，
#rpm -qa | egrep '(ruby)|(irb)'
如果已安装，而且不是你所要的版本，则需要先卸载她，如，
#rpm -e ruby-docs-1.8.1-7.EL4.2 /
ruby-1.8.1-7.EL4.2 /
irb-1.8.1-7.EL4.2 /
ruby-libs-1.8.1-7.EL4.2 /
ruby-mode-1.8.1-7.EL4.2 /
ruby-tcltk-1.8.1-7.EL4.2 /
ruby-devel-1.8.1-7.EL4.2

(2)安装 Ruby
假设 Ruby 安装到 /usr/local/ruby
#mkdir /usr/local/ruby
#tar -zxvf ruby-1.8.4.tar.gz
#cd ruby-1.8.4
#./configure --prefix=/usr/local/ruby
#make
#make install

(3)设置路径
#vi /etc/profile
在该文件中加入，
RUBY_HOME=/usr/local/ruby
PATH=$PATH:$RUBY_HOME/bin
export RUBY_HOME PATH

(4)检查是否安装成功
重新登录，
#ruby -v
如果能显示 ruby 的版本信息（ruby 1.8.4 (2005-12-24) [i686-linux]），则说明已安装成功。

(5)安装 Ruby Gems
#tar -zxvf rubygems-0.9.0.tgz
#cd rubygems-0.9.0
#ruby setup.rb

(6)检查是否安装成功
#gem -v
如果能显示 gem 的版本信息（0.9.0），则说明已安装成功。
3.安装和运行 Starling
(1)输入gem install memcache-client starling命令,自动安装starling.
(2)输入#starling --help检查是否安装成功,输出帮助信息及安装成功.
(3) 启动Starling
#starling -h 0.0.0.0 -d -p 22122
#netstat –lnp

编写Java客户端程序:
java客户端将使用,XMemcached作为memcache的client. XMemcached是一个基于java nio的memcached客户端。具有速度快,支持分布式访问多个memcached服务的特点.
1.下载XMemcached

(2)安装 Ruby
假设 Ruby 安装到 /usr/local/ruby
#mkdir /usr/local/ruby
#tar -zxvf ruby-1.8.4.tar.gz
#cd ruby-1.8.4
#./configure --prefix=/usr/local/ruby
#make
#make install

(3)设置路径
#vi /etc/profile
在该文件中加入，
RUBY_HOME=/usr/local/ruby
PATH=$PATH:$RUBY_HOME/bin
export RUBY_HOME PATH

(4)检查是否安装成功
重新登录，
#ruby -v
如果能显示 ruby 的版本信息（ruby 1.8.4 (2005-12-24) [i686-linux]），则说明已安装成功。

(5)安装 Ruby Gems
#tar -zxvf rubygems-0.9.0.tgz
#cd rubygems-0.9.0
#ruby setup.rb

编写Java客户端程序:
java客户端将使用,XMemcached作为memcache的client. XMemcached是一个基于java nio的memcached客户端。具有速度快,支持分布式访问多个memcached服务的特点.
1.下载XMemcached http://xmemcached.googlecode.com/files/xmemcached-1.2.0-stable-include-dependencies.zip
2.把下载的zip解压,把里面的jar包都加到一个java项目的classpath中,还需要额外增加一个log4j的包,不然会报错.
3.写一个放数据和一个取出数据的类
=============放数据============================
public class SetQueueTest {

/**
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
  // TODO Auto-generated method stub
  //连接starling
    //XMemcachedClient是线程安全的，可以被多线程使用
    XMemcachedClient client= new XMemcachedClient("192.168.4.243", 22122);
    while(true){
   //存储操作
     if (!client.set("hello", 0, "dennis"+System.currentTimeMillis())){
          System.err.println("set error");
     }
     else{
      System.out.println("ok");
     }
     Thread.sleep(2);
    }
}

}

=============取数据==================
public class GetQueueTest {

public static void main(String[] args) throws Exception {
  // TODO Auto-generated method stub
  //连接starling
    //XMemcachedClient是线程安全的，可以被多线程使用
    XMemcachedClient client= new XMemcachedClient("192.168.4.243", 22122);
  //存储操作
    while(true){
     String name=(String)client.get("hello");
    //如果队列中已经没有数据了,休息一下再试
     if(name==null){
      Thread.sleep(5);
      continue;
     }
     System.out.println(name);

    }
}

}

性能测试

这是别人用php测试的结果,仅供参考.

测试条件:

key的长度16B
value的长度100B,
8个并发写入进程
每个进程插入10,000条记录
平均每个进程花了7秒完成写入操作，那么照这样计算：

10000 * 8 / 7 = 每秒写入11428次

2.把下载的zip解压,把里面的jar包都加到一个java项目的classpath中,还需要额外增加一个log4j的包,不然会报错.
3.写一个放数据和一个取出数据的类
=============放数据============================
public class SetQueueTest {