java连接memcached，并对比从数据库中查询数据与从memcached查询的性能

说明：
系统为：rhel5.3 32
memcached版本为：yum安装的1.4.5-1.el5   
jdk版本为：jdk1.6.0_29   
mysql版本为：mysql-5.5.17-winx64.zip
eclipse版本为：eclipse-jee-indigo-SR1-linux-gtk.tar.gz

参考：
xmemcached user_guide
http://code.google.com/p/xmemcached/wiki/User_Guide_zh

mysql+memcache+java(xmemcached)例子
http://f.dataguru.cn/forum.php?mod=viewthread&tid=44158&fromuid=4771


xmemcached + 3节点memcached 试验
http://f.dataguru.cn/forum.php?mod=viewthread&tid=44203&fromuid=4771



本试验所有的源文件、jar包下载：
源文件及jar包.rar (1.53 MB, 下载次数: 0, 售价: 1 金子)

2012-12-27 23:33 上传

下载次数: 0
售价: 1 金子   [记录]  [ 购买]
下载积分: 金子 -1

不过源文件的内容我基本上都有贴出来。。

试验准备：
如图：新建一个工程，导入五个jar包，并准备一个log4j配置文件放置于src目录下。
log4j文件内容：

1. log4j.debug=false
   
2. log4j.rootLogger=INFO, stdout
   
3. 
   
4. log4j.appender.stdout=org.apache.log4j.ConsoleAppender
   
5. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
   
6. log4j.appender.stdout.layout.ConversionPattern=%-5p %d{HH:mm:ss} (%F:%L) - %m%n

复制代码

log4j的配置，可以自己定制，我是懒得搞了，直接copy的。。

为了循循渐进的演示效果，我把试验中需要的代码分开了，便于一步一步实验。
PS：为了代码逻辑简单明了，也因为我太懒了，代码随意写的，完全没有面向对象，没有可扩展性、没有可维护性，仅作为本次测试参考！
此外，代码中我把Exception直接抛出去，没有百分之百把握定位Exception的筒子们，还是老老实实的try...catch处理！

2012-12-27 20:09 上传

下载附件 (40.53 KB)

一、测试连接memcached：
确保你memcached已经安装成功，如果没有，参考：
Redhat/CentOS使用yum报错的完美解决方案（顺带yum安装memcached）
http://f.dataguru.cn/forum.php?mod=viewthread&tid=44212&fromuid=4771


确保上图中的前四个jar包已经被引入，新建测试类TestConn2Mem.java，代码：

1. package com.oracle.biao.memcached;
   
2. 
   
3. import net.rubyeye.xmemcached.MemcachedClient;
   
4. import net.rubyeye.xmemcached.MemcachedClientBuilder;
   
5. import net.rubyeye.xmemcached.XMemcachedClientBuilder;
   
6. import net.rubyeye.xmemcached.utils.AddrUtil;
   
7. 
   
8. public class TestConn2Mem {
   
9.         public static void main(String[] args) throws Exception {
   
10.                 MemcachedClientBuilder builder = new XMemcachedClientBuilder(AddrUtil.getAddresses("127.0.0.1:11211"));
    
11.                 MemcachedClient memcachedClient = builder.build();
    
12.                 memcachedClient.set("hello", 0, "hello,memcached!");
    
13.                 String value = memcachedClient.get("hello");
    
14.                 System.out.println("hello=" + value);
    
15.                 memcachedClient.delete("hello");
    
16.                 System.out.println("hello has been deleted...");
    
17.                 value = memcachedClient.get("hello");
    
18.                 System.out.println("hello=" + value);
    
19.                 memcachedClient.shutdown();
    
20.         }
    
21. }

复制代码

运行结果为：

1. WARN  20:17:07 (XMemcachedClient.java:674) - XMemcachedClient use Text protocol
   
2. INFO  20:17:08 (SelectorManager.java:37) - Creating 4 reactors...
   
3. WARN  20:17:08 (AbstractController.java:372) - The Controller started at localhost/127.0.0.1:0 ...
   
4. WARN  20:17:08 (MemcachedConnector.java:234) - Add a session: 127.0.0.1:11211
   
5. hello=hello,memcached!
   
6. hello has been deleted...
   
7. hello=null
   
8. WARN  20:17:08 (MemcachedConnector.java:348) - Remove a session: 127.0.0.1:11211
   
9. INFO  20:17:08 (AbstractController.java:478) - Controller has been stopped.

复制代码

如上所示，java连接memcached成功。

二、测试连mysql数据库：
确保mysql数据库已经安装，如果没有，参考：
Win7下MySQL解压缩版安装配置
http://f.dataguru.cn/forum.php?mod=viewthread&tid=34746&fromuid=4771


1、首先在数据库中建立相应的测试表以及构造些测试数据：

1. mysql> create table test_memcached(id int primary key auto_increment, value varchar(30) not null);
   
2. Query OK, 0 rows affected (0.14 sec)

复制代码

2、确保上图中的mysql-connector-java-*-bin.jar包已经被引入，新建测试类TestConn2MySQL.java，代码：

1. package com.oracle.biao.memcached;
   
2. 
   
3. import java.sql.Connection;
   
4. import java.sql.DriverManager;
   
5. import java.sql.ResultSet;
   
6. import java.sql.Statement;
   
7. 
   
8. public class TestConn2MySQL {
   
9.         public static void main(String[] args) throws Exception {
   
10.                 Class.forName("com.mysql.jdbc.Driver");
    
11.                 Connection conn = DriverManager.getConnection("jdbc:mysql://192.168.1.4:3306/test", "root", "root");
    
12.                 String sql = "select count(*) from test_memcached";
    
13.                 Statement stat = conn.createStatement();
    
14.                 ResultSet rs = stat.executeQuery(sql);
    
15.                 rs.next();
    
16.                 String rows = rs.getString(1);
    
17.                 System.out.println("Current rows is " + rows);
    
18.                 rs.close();
    
19.                 stat.close();
    
20.                 conn.close();
    
21.         }
    
22. }

复制代码

运行结果为：

1. Current rows is 6

复制代码

如上所示，在mysql数据库中插入的6条数据被获得，连接mysql成功。

三、为性能对比测试准备数据：
确保前两步都已经试验成功，新建工具类DataGenerator.java，代码：

1. package com.oracle.biao.memcached;
   
2. 
   
3. import java.sql.Connection;
   
4. import java.sql.DriverManager;
   
5. import java.sql.ResultSet;
   
6. import java.sql.Statement;
   
7. 
   
8. import net.rubyeye.xmemcached.MemcachedClient;
   
9. import net.rubyeye.xmemcached.MemcachedClientBuilder;
   
10. import net.rubyeye.xmemcached.XMemcachedClientBuilder;
    
11. import net.rubyeye.xmemcached.utils.AddrUtil;
    
12. 
    
13. public class DataGenerator {
    
14.         public static void main(String[] args) throws Exception {
    
15.                 Class.forName("com.mysql.jdbc.Driver");
    
16.                 Connection conn = DriverManager.getConnection("jdbc:mysql://192.168.1.4:3306/test", "root", "root");
    
17.                 String sql = "select count(*) from test_memcached";
    
18.                 Statement stat = conn.createStatement();
    
19.                 stat.executeUpdate("truncate table test_memcached");
    
20.                 System.out.println("truncated table test_memcached......");
    
21.                 ResultSet rs = stat.executeQuery(sql);
    
22.                
    
23.                 for (int i = 100; i < 600; i++) {
    
24.                         stat.addBatch("insert into test_memcached(value) values('test" + i + "')");
    
25.                 }
    
26.                
    
27.                 int[] rows = stat.executeBatch();
    
28.                 System.out.println("inserted " + rows.length + " rows......");
    
29.                
    
30.                 rs.close();
    
31.                 stat.close();
    
32.                 conn.close();
    
33.                
    
34.                 MemcachedClientBuilder builder = new XMemcachedClientBuilder(AddrUtil.getAddresses("127.0.0.1:11211"));
    
35.                 MemcachedClient memcachedClient = builder.build();
    
36.                
    
37.                 for (int i = 100; i < 600; i++) {
    
38.                         memcachedClient.delete(""+i);
    
39.                 }
    
40.                 System.out.println("purge memcached......");
    
41.                
    
42.                 for (int i = 100; i < 600; i++) {
    
43.                         memcachedClient.set(""+i, 0, "test"+i);
    
44.                 }
    
45.                 System.out.println("set 600 entries into memcached......");
    
46. 
    
47.                 memcachedClient.shutdown();
    
48.         }
    
49. }

复制代码

运行完之后将会在mysql插入500条数据，并将相同的数据set进memcached中。运行后的控制台信息：

1. truncated table test_memcached......
   
2. inserted 500 rows......
   
3. WARN  20:37:19 (XMemcachedClient.java:674) - XMemcachedClient use Text protocol
   
4. INFO  20:37:19 (SelectorManager.java:37) - Creating 4 reactors...
   
5. WARN  20:37:19 (AbstractController.java:372) - The Controller started at localhost/127.0.0.1:0 ...
   
6. WARN  20:37:19 (MemcachedConnector.java:234) - Add a session: 127.0.0.1:11211
   
7. purge memcached......
   
8. set 600 entries into memcached......

复制代码

看到如上信息后，可以再用代码，或者直接查询，验证数据是否已正确构造。此处略，都懂的。。

四、比较从数据库中查询数据和从memcached中查询数据的性能:
确保前三步都已经试验成功，新建测试类TestPerformance.java，代码：

1. package com.oracle.biao.memcached;
   
2. 
   
3. import java.sql.Connection;
   
4. import java.sql.DriverManager;
   
5. import java.sql.ResultSet;
   
6. import java.sql.Statement;
   
7. 
   
8. import net.rubyeye.xmemcached.KeyIterator;
   
9. import net.rubyeye.xmemcached.MemcachedClient;
   
10. import net.rubyeye.xmemcached.MemcachedClientBuilder;
    
11. import net.rubyeye.xmemcached.XMemcachedClientBuilder;
    
12. import net.rubyeye.xmemcached.utils.AddrUtil;
    
13. 
    
14. public class TestPerformance {
    
15.         public static void main(String[] args) throws Exception {
    
16.                 Class.forName("com.mysql.jdbc.Driver");
    
17.                 long start1 = System.currentTimeMillis();
    
18.                 Connection conn = DriverManager.getConnection("jdbc:mysql://192.168.1.4:3306/test", "root", "root");
    
19.                 //long endConnMySQL = System.currentTimeMillis();
    
20.                 //System.out.println("Connect to mysql, Cost" + (endConnMySQL - start1) + "ms");
    
21.                 String sql = "select * from test_memcached";
    
22.                 Statement stat = conn.createStatement();
    
23.                 ResultSet rs = stat.executeQuery(sql);
    
24.                 while (rs.next()) {
    
25.                         String value = rs.getString(2);
    
26.                 }
    
27.                 long end1 = System.currentTimeMillis();
    
28.                 System.out.println("From mysql query 500 rows, Cost time:" + (end1 - start1) + "ms");
    
29.                 rs.close();
    
30.                 stat.close();
    
31.                 conn.close();
    
32.                
    
33.                 MemcachedClientBuilder builder = new XMemcachedClientBuilder(AddrUtil.getAddresses("127.0.0.1:11211"));
    
34.                 MemcachedClient memcachedClient = builder.build();
    
35.                 long start2 = System.currentTimeMillis();
    
36.                 for (int i = 100; i < 600; i++) {
    
37.                         String value = memcachedClient.get(""+i);
    
38.                 }
    
39.                 long end2 = System.currentTimeMillis();
    
40.                 System.out.println("From memcached query 500 rows, Cost time:" + (end2 - start2) + "ms");
    
41.                
    
42.                 memcachedClient.shutdown();
    
43.         }
    
44. }

复制代码

运行结果如下：

1. From mysql query 500 rows, Cost time:611ms
   
2. WARN  11:00:59 (XMemcachedClient.java:674) - XMemcachedClient use Text protocol
   
3. INFO  11:00:59 (SelectorManager.java:37) - Creating 4 reactors...
   
4. WARN  11:00:59 (AbstractController.java:372) - The Controller started at localhost/127.0.0.1:0 ...
   
5. WARN  11:00:59 (MemcachedConnector.java:234) - Add a session: 127.0.0.1:11211
   
6. From memcached query 500 rows, Cost time:307ms
   
7. WARN  11:00:59 (MemcachedConnector.java:348) - Remove a session: 127.0.0.1:11211
   
8. INFO  11:00:59 (AbstractController.java:478) - Controller has been stopped.

复制代码

From mysql query 500 rows, Cost time:611ms
From memcached query 500 rows, Cost time:307ms


从运行结果来看，对于此次测试，memcached性能上的优异还是挺明显的。。

但是，其实这么比较出来的结果的是不严谨的！依照例子而言，mysq的查询时间包括了连接的时间，如果不算连接的时间，结果是相反的：mysql的性能优于memcached好几倍！不信的筒子可以自己测试。

至此，本次试验完成！