多样性数据源报表如何做？

现代应用已经进入多数据源阶段了，不再是一个单一的数据库包打天下，一个应用中会涉及除关系数据库外各种数据源，如文本文件类数据、NOSQL、多维数据库、HTML Webservice 等等，即使是关系数据库，也可能不止一个

应用这样了，那么应用中的报表自然也会涉及到多样性的数据源了

现在的报表，基本都是用报表工具来做，很多报表工具都号称支持多数据源，是不是能解决这个问题呢？

其实只能搞定一点点

报表工具能轻松搞定的多源数据长什么样

简单的说，来自关系数据库的多源数据都比较好搞定，不管是多表，还是多库，都很简单，用 SQL 把各个来源的数据都取出来，放到报表中去关联、计算、呈现就可以

这样的多源数据，好一点的报表工具都可以轻松应对

报表工具不好搞定的多源数据长什么样

也可以简单的说，不是单纯的关系数据库的多源数据，报表工具都不太好做

进入大数据时代以来，数据不仅是大了，而且存储的方式也多了，除了传统的关系数据库外，还有

1. TXT/CSV、Excel、JSON/XML 等文件；
2. MongoDB、Cassandra、HBase、Redis 这些 NoSQL 数据库；
3. HDFS 等分布式文件系统；
4. webService；
5. ES、Kafka 等其他数据源形式

文件类的某些报表工具还能搞定，但也只限于读，而不会算，只能先全部读入到报表中，然后再利用报表的计算能力来计算处理，数据量大时，读取的效率和空间容量都可能会成为问题，（极个别的工具可以边读边汇总过滤，还能并行流式读取，会好很多）；其它类的数据源大部分报表工具就连读都不会了，因为没有标准，每家有各自的 API，想要读取，大部分都得通过 JAVA 自定义数据集的方式了

读取都比较费劲，而这些数据常常在业务逻辑上又有关联，做报表的时候大部分时候都会涉及到多个数据源之间的关联混算，单凭报表工具提供的多源关联能力处理起来就更困难了

报表工具解决不了只能硬编码

报表工具解决不了，但也难不倒工程师，因为工程师会编码，没有什么是编码解决不了的

工程师可以先把异构的数据变成同构的，比如把文件的数据先导入到 RDB 中，由 RDB 计算后再给报表用，而那些不会读的，就只能再一次依靠所有报表工具都提供的所谓自定义数据原接口了，用 JAVA 读入并处理好，再传给报表

项目中，很多困难的多源混算情况，都是这么处理的，都能搞定，但是这么做其实弊端很多

异构变同构，其实大部分时候是把不同的数据强行装入到常见关系数据库中，然后再利用 SQL 的方式来处理计算，这样做，首先得考虑数据库本身的管理和压力，管理上是否允许这样操作，容量是否够，每次遇到这样的库外数据都要往数据库中放？

然后还得考虑时效，数据的导入都需要时间，量少的耗时短可能无所谓，量大的可能进度都被耽误了，而且一般业务数据都是实时变动的，导入数据的方式也基本很难保证数据的实时性，还有些变不了或者变起来极困难的，像 json/xml 多层数据（mongodb 也是这种），要建很多表，想变都变不了

JAVA 处理的话，要好很多，不用考虑入库的一系列问题，实时性也可以保证，但是开发成本高，还会破坏应用架构

JAVA 开发人员的成本本身就高，然后 JAVA 计算数据的能力还很弱，写起来工作量很大，简单做个求和运算都需要写数行代码的循环来实现，更别说逻辑复杂的运算了，动辄几百行的代码，一个报表还可以承受，报表一多，就承受不了这样的高成本了

另外 JAVA 代码需要和项目应用一起编译，也会带来报表和应用高耦合的问题，还会影响报表本身热切换的能力

有没有更好的办法

如果报表工具提供处理复杂多样性数据源的能力，那问题就可以迎刃而解了，就不需要再来回倒腾数据或者 JAVA 硬写了

润乾报表集成SPL 集算器以后就具备了这样的能力

SPL 是一款流行的专业的数据计算处理工具，很多项目开发商都在用，因为它不仅好用，而且还免费，开源，是常年做项目，总需要做数据处理的工程师的好帮手

集成 SPL 后，润乾报表相当于多了一个计算层，这个计算层支持常见的各类数据源，可以同时计算来自不同数据源的数据，不管它是同构还是异构

比如 JSON 和 ORACLE 混算

	A
1	=json(file(“/data/EO.json”).read())	JSON 数据
2	=A1.conj(Orders)
3	=A2.select(Amount>1000 &&Amount<=3000 && like@c(Client,“s”))	条件过滤
4	=db.query@x(“select ID,Name,Area from Client”)	数据库数据
5	=join(A3:o,Client;A4:c,ID)	关联计算

再比如 MongoDB 和 CSV 关联运算

	A
1	=mongo_open(“mongodb://127.0.0.1:27017/mongo”)
2	=mongo_shell(A1,“Orders.find()”).fetch()
3	=file(“Employee.csv”).import@tc()
4	=mongo_close(A1)
5	=join(A2,SellerId;A3,EId)
6	=A5.new(_1.OrderID,_1.Client,_2.Name,_2.Gender,_2.Dept)

原本要做各种转换把数据导入到库里，或者用大段的 JAVA 来写，现在简单几行 SPL 代码就轻松搞定了

说在最后

集成了 SPL 的润乾报表，简单几行代码就可以搞定多样性数据源的难题，不仅让报表做起来更轻松，更是帮用户省下了大把的人工成本，而且润乾报表本身也好用，润乾一直都是报表行业的头部供应商，各行业的大小软件开发商们都有用润乾，现在的价格又很亲民，1W 一套，3W 一年随便用，也可以给项目上省出不少费用，有需要的可以收藏一下了

感兴趣的小伙伴，请识别右侧二维码与我们联系

微信号｜RUNQIAN_RAQSOFT