【摘要】
交叉汇总作为数据统计的一种分类统计计算,用 MongoDB 实现比较困难,但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:协助 MongoDB 计算之交叉汇总!
交叉汇总是数据统计中一种实用的分类统计计算。交叉汇总分析,又称列联表分析,是通过分析两个或两个以上变量之间的联合分布特征,来了解这些变量之间相互影响关系的一种统计分析技术。一般情况下,我们将某一变量分组后作为行,用其它变量或变量的组合作为列,形成数据库表进行统计分析。例如下面的表结构:
![4aab321b3bdb2cfb208c18a359589e5e.png](https://i-blog.csdnimg.cn/blog_migrate/dc51f89a65ce4f4a941d68fb61611039.jpeg)
如果将学科、成绩合并,则可进一步演化为:
![706f56d777a68411f806d2d2d9567b03.png](https://i-blog.csdnimg.cn/blog_migrate/1bc4bc17b44ca9806f15ed94f6bc8b2c.jpeg)
用 MongoDB 能够比较清晰、自然地存储类似的数据,但要实现交叉汇总却比较困难。如果将数据取出,用 Java 等其它高级语言来汇总的话,也相当复杂。对于这种情况,我们可以利用集算器 SPL 语言辅助 MongoDB,完美实现交叉汇总的功能,下面用例子说明。
Student集合记录了学校、学生名称、学科及成绩,样例数据如下: db.student.insert ({school:'school1', sname : 'Sean' , sub1: 4, sub2 :5}) db.student.insert ({school:'school1', sname : 'chris' , sub1: 4, sub2 :3}) db.student.insert ({school:'school1', sname : 'becky' , sub1: 5, sub2 :4}) db.student.insert ({school:'school1', sname : 'sam' , sub1: 5, sub2 :4}) db.student.insert ({school:'school2', sname : 'dustin' , sub1: 2, sub2 :2}) db.student.insert ({school:'school2', sname : 'greg' , sub1: 3, sub2 :4}) db.student.insert ({school:'school2', sname : 'peter' , sub1: 5, sub2 :1}) db.student.insert ({school:'school2', sname : 'brad' , sub1: 2, sub2 :2}) db.student.insert ({school:'school2', sname : 'liz' , sub1: 3, sub2 :null})
希望能够统计出如下的交叉表:每行一个学校,第一列是sub1成绩为5的人数,第二列是sub1成绩为4的人数,以此类推。
![b5b59928795b026dcbddc5f605021631.png](https://i-blog.csdnimg.cn/blog_migrate/2ea4e88a4fc74f3afab062a034935722.jpeg)
使用集算器SPL的代码如下:
![84b13bd1c3aba0843562dda42231235a.png](https://i-blog.csdnimg.cn/blog_migrate/f6b9d6815c146f7ac699d7866152c3c3.jpeg)
A1: 连接MongoDB数据库,ip和端口号是localhost:27017,数据库是test,用户名和密码都是test。
A2: 使用find函数从MongoDB中取出集合student,形成游标。SPL游标能够分批读取和处理数据,可以避免数据量过大,以防内存溢出因为数据量不大,所以这里可以直接 fetch 出游标的所有记录
A3:首先按照学校分组。
![9df464f6ff4e4ff20db003d327ca6a79.png](https://i-blog.csdnimg.cn/blog_migrate/d07307da472b57f68957fe7d8f2dbd85.jpeg)
A4:分组之后,align函数实现每组内部按照[1,2,3,4,5]的序列对齐分组,再通过len函数求出每一个对齐分组序列的长度。
![63b751290a7b9084ee171604348abfdb.png](https://i-blog.csdnimg.cn/blog_migrate/69478324f52f30b48a188ab24c1ac46f.jpeg)
A5:对A4的长度数按学科与成绩组合成列放入相应的位置,生成结果排列。
结果如下:
![a3e27b5c5d087eadd11f04514c3b2fea.png](https://i-blog.csdnimg.cn/blog_migrate/5b1fe6a2cfa7033c08aaf2d8d7c75a44.jpeg)
A6: 关闭mongodb连接。
简言之,SPL 先得到分组数据,用函数 align() 按成绩分组,再得到每组数量,最后按需求进行显示就行了。这样,借助 SPL 语言实现交叉汇总功能, 对 MongoDB 的用户来说就再也不是一件令人头痛的事了。
需要说明的是:集算器SPL并不包含mongodb的java驱动包。如果要用SPL访问mongodb,必须提前将mongodb的java驱动包(例如:mongo-java-driver-3.9.1.jar)放到集算器设置的外部库目录extLibMongoCli下。
除了在集算器中直接计算,上述使用SPL语言协助mongodb计算的脚本也很容易集成到java中,只要增加一行,写成return A5即可向java输出resultset形式的结果,具体的代码参考SPL教程。同样,用java调用SPL访问mongodb也必须将mongdb的java驱动包放到java程序的classpath中。