分库数据如何查询统计

分库后的计算不能直接使用SQL；异构库 SQL 函数不尽相同；JAVA 硬编码实施难度大；即使借助透明网关访问远程数据库，分库性能优化也是头疼问题。

一般常规办法：

方法1：java硬编码

简单的跨库count运算，Java部分代码大概要写成这样：

… public Connection   getConnection(String drivername,String url, String username, String password)   {                   try   {                                     Class.forName(drivername);                                     conn   = DriverManager.getConnection(url, username, password);                   }   catch (Exception e) {                                     System.out.println("DBUtils.getConnection_FAILED!");                                     e.printStackTrace();                   }                   return   conn; } … … Connection conn1 = DBUtils.getConnection(URL1,   USER1, PASSWORD1); Connection conn2 = DBUtils.getConnection(URL2,   USER2, PASSWORD2); … String sql = "select count(*) c from   sales";   PreparedStatement ptmt1 = conn1.prepareStatement(sql); PreparedStatement ptmt2 = conn1.prepareStatement(sql); … ResultSet rs1 = ptmt1.executeQuery(); ResultSet rs2 = ptmt2.executeQuery(); … return rs1.getInt("c")   + rs2.getInt("c"); …

 

方法2：透明网关

例如oracle的dblink

 

带有DBLINK的SQL，优化起来很复杂。可以通过分析执行计划，利用collocated inline view，driving_site hint 等手段，来优化这些带有DBLINK的SQL。但这即使对于一名经验丰富的DBA来说，也是件很头疼、很费劲的事。

 

这种情况下，如果有集算器就简单很多，看下面这个例子：

n个库的count运算。该运算需要在各分库中分别进行 count，对各分库的结果，在汇总阶段要用sum求和，集算器（SPL）仅4行就可以搞定了。

	A	B
1	=n.(connect("mysql"+string(~)))	//获取n个分库的连接
2	=SQL="select   count(*) c from sales"	//需要在分库中执行的SQL
3	=A1.(~.cursor(SQL))	//在n个分库中执行 SQL
4	=A3.conjx().total(sum(c))	//将各分库算出的count值进行汇总

即使分库数据库为异构的情况，集算器也可以通过SQL翻译功能方便地进行SQL转化，为不同数据库提供可执行的SQL。

利用集算器还可根据数据特征，轻松写出具有针对性的高性能代码，无需大量硬编码，即可实现高效的算法 。诸如排序、top、分组、去重、连接等各类分库运算，都可以轻松实现，感兴趣可以参考：分库后的查询统计

 

集算器还很容易嵌入到Java应用程序中，Java如何调用SPL脚本有使用和获得它的方法。

关于集算器安装使用、获得免费授权和相关技术资料，可以参见如何使用集算器。