- 博客(125)
- 收藏
- 关注
RSS订阅
转载 数据计算中间件技术综述
可阅读原文：http://c.raqsoft.com.cn/article/1537237515333?r=alice## 传统企业大数据架构的问题 上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中，大致可以分成三层。最下一层是数据采集，通常会采用 kafka 或者 Flume 将 web 日志通过消息队列传送到存储层或者计算层。对于数据存储，目前 Apa...
2018-11-27 11:40:45
258
转载 润乾数据采集填报中自动计算处理
阅读原文：http://c.raqsoft.com.cn/article/1543550151602?r=alice在业务系统中，常常会遇到这样的需求，用户录入了某些数据后，系统需要自动算出另外一部分单元格的值，从而方便用户的计算、简化用户的输入，进而减少错误率，这就是我们常说的自动计算功能。自动计算在 excel 中很常见，那么在报表工具里我们要如何去实现呢？下面我们就通过润乾报表设计器...
2019-01-10 17:38:45
669
转载 润乾报表中录入数据时如何实现行列转换
阅读原文：http://c.raqsoft.com.cn/article/1544084300963?r=alice应用场景及需求：某电力集团在实际应用中需要在填报数据时将数据库中的字段以更符合业务人员使用习惯的方式进行呈现，其中就有行列转换的情况。在常规的应用开发中，一般都是通过专门设计的数据界面进行录入，然后再通过程序转换存入数据库。而现在有了集算器支持的润乾填报表，就能够处理各种有关...
2019-01-10 14:02:17
761
转载 润乾报表数据填报中的合法性校验
阅读原文：http://c.raqsoft.com.cn/article/1544091400841?r=alice教师是一个令人尊敬的职业，但批改作业却是个很伤神的工作，这个过程充满了传说中的“哭笑不得”，不信你看，标准的汉字都能被他们写活：这些脑回路清奇的同学下学别走，老师有句话跟你谈一下……无独有偶，在 IT 行业中，总有一些终端用户输入的内容让统计人员无从下手。技术人员在做统计汇...
2019-01-10 13:47:45
992
转载 利用有序高效实施交并差集合运算
可阅读原文：http://c.raqsoft.com.cn/article/1545662863743?r=alice 交并差是常见的集合运算，SQL 中对应的 intersect/union/minus 计算也很简单。不过当数据量较大时，这类集合运算性能往往偏低，尤其当参与计算的数据量超过内存容量时，性能表现会十分糟糕。 本文专门针对这种情况下的高性能计算（HPC）需求，讨论...
2019-01-04 11:58:31
309
转载 大主子表关联的性能优化方法
可阅读原文：http://c.raqsoft.com.cn/article/1545619124373?r=alice主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时，关联计算的性能将急剧降低，在增加服务器负载的同时严重影响用户体验一、 ...
2019-01-04 11:53:49
605
转载 区块链技术的一些疑问
阅读原文：http://c.raqsoft.com.cn/article/1533882683963?r=alice1. 区块链只适合执行低频高价的交易？单纯的链式结构未必会产生分叉，但考虑到去中心化和网络的不稳定性，分叉就是不可避免的。而合理的链又不能容忍分叉，规避的办法是多走几轮后看哪个分叉能走得更远。这样，区块在刚产生时并不能确认自己是否在最长链上，必须多等几轮才知道。也就是说，交易...
2018-12-20 14:19:33
265
转载 Java 嵌入 SPL 轻松实现数据分组
阅读原文：http://c.raqsoft.com.cn/article/1544235144250?r=alice要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda（stream）代码简洁了许多，分组后往往还...
2018-12-19 18:04:41
242
转载 跨库多维分析后台的实现
可阅读原文：http://c.raqsoft.com.cn/article/1535601728534?r=alice问题的提出 多维分析（BI）系统后台数据常常可能来自多个数据库，这时就会出现跨库取数计算的问题。例如：从性能和成本考虑，往往会限制生产库的容量，同时将历史数据分库存放，由ETL定期把生产库中新产生的数据同步到历史库中，同步周期根据数据的生成量，可能是...
2018-12-13 16:15:43
271
转载 轻量级可嵌入多维分析后台
可阅读原文：http://c.raqsoft.com.cn/article/1534408099533?r=alice问题的提出多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。但是，这三种选择都有各自的问题。普通数据库一般都是行式存储，很难获得多维分析希望的高性能，只适用较小数据量。专业数据仓库有不少是列式存储的，性能问题不大...
2018-12-13 16:10:43
180
转载 协助 MySQL 实现 Oracle 高级分析函数
阅读原文：http://c.raqsoft.com.cn/article/1535964014661?r=aliceOracle 支持一些独特的语法和函数，在移植到 MySQL 上时或多或少给程序员造成了困扰，下面我们针对 Oracle 的一些特殊用法举例并讲解如何用集算器来完成同样功能。这些方法当然也不限于针对 MySQL，对于所有其它数据库也能支持。1、 递归语句a...
2018-12-06 18:16:35
179
转载 10 行代码提取复杂 Excel 数据
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下，结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。下面使用另外一种方式处理1. 普通行式 先看最简单的情况：如下图所示，Excel文件中第一行是列标题，从第二行开始，每行是一条数...
2018-12-06 18:11:31
415
转载 数据分析之37 个场景使用到集算器
可阅读原文：http://c.raqsoft.com.cn/article/1534732238335?r=alice慢1、清单式大报表难以及时呈现，采用数据库分页方式翻页效率很差集算器将计算和呈现做成两个异步线程，取数线程发出 SQL 将数据缓存到本地，然后交给呈现线程快速展现报表 取数线程只涉及一个事务不会出现数据不一致，保证数据准确性2、查询报表从数据库中取数量大，JDBC ...
2018-11-29 18:46:54
205
转载 超大数据下大批量随机键值的查询优化方案
可阅读原文: http://c.raqsoft.com.cn/article/1536544293689?r=alice一、问题描述键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 logN（以 2 为底）次， 10 亿行数据也只要比较 30 次（10 亿约等于 2^30），在现代计算机上...
2018-11-29 18:40:15
173
转载 应对多层JSON数据计算与入库
可阅读原文：http://c.raqsoft.com.cn/article/1536633176729?r=aliceJSON作为一种轻量级的数据交换格式，因其易于读写和交互的特点，已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口，但是接下来如何把多层 JSON 数据经过筛选、计算并展开成二维数据，就需要开发人员去头疼了。本文就为大家分享一下如何利用集算器...
2018-11-29 14:47:32
349
转载 让Birt报表脚本数据源变得既简单又强大
可阅读原文：http://c.raqsoft.com.cn/article/1537155188168?r=alice应用场景：报表数据准备应用结构集成后，集算器嵌入报表应用层，相当于本地的逻辑数据库（不需要单独服务器部署），在报表与数据源间作为报表数据准备层，完成各种复杂的计算任务。概述：运行在 JVM 上的 SQL 函数和存储过程总所周知，有些数据库没有强大的分析函数（...
2018-11-29 14:11:01
378
转载 基于文件系统实现可追加的数据集市
可阅读原文：http://c.raqsoft.com.cn/article/1538189724921?r=alice一 问题背景绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。究其原因，往往发现针对历史数据查询的报表在其中占了很大比重。进一步分...
2018-11-28 14:15:27
191
转载 车险往年保单关联计算的性能优化
可阅读原文：http://c.raqsoft.com.cn/article/1541400226267?r=alice保险行业中，往往需要根据往年保单来快速计算和生成当年新的保单。以车险为例，在提醒老客户续保时就需要计算指定时间段的往年保单，例如某省级公司需要定期计算特定月份内可续保保单对应的历史保单。而目前在大多数保险营运系统中，这类批量数据处理任务都是由存储过程实现的，其中存在的典型问题就...
2018-11-28 13:55:19
398
转载 10 行代码集算器实现写诗机器人
可阅读原文：http://c.raqsoft.com.cn/article/1536756719594?r=alice集算器不仅有大数据计算，还有诗和远方。最近看到不少写诗机器人的新闻，于是尝试用集算器简单地实现一个。这个实现真的很简单，简单到只有10几行代码，请看实现步骤： 1下载字典和诗词从网上找一个用于分词的字典文件，里面记录着每个中文词汇的词性。我从GitHub上找了一个，...
2018-11-27 11:55:51
380
转载 10 行代码实现手写数字识别
可直接阅读原文：http://c.raqsoft.com.cn/article/1540374496048?r=alice识别手写的阿拉伯数字，对于人类来说十分简单，但是对于程序来说还是有些复杂的。 不过随着机器学习技术的普及，使用10几行代码，实现一个能够识别手写数字的程序，并不是一件难事。这是因为有太多的机器学习模型可以拿来直接用，比如tensorflow、caffe，在pyt...
2018-11-27 11:34:08
622
转载 润乾报表多维分析功能
可直接阅读原文：http://c.raqsoft.com.cn/article/1535678317741?r=alice 分析控件功能拖拽字段首先从分析控件本身的功能入手——打开分析页面第一件事是做什么呢？对啦，当然是要展示报表了~脱离敲打复杂的查询语句，只需要动动鼠标就可以获取所需要的数据。第一步就是要将所需要的字段拖拽到指标数据区。这里是第一个例子：上图的报表内容...
2018-11-26 18:23:59
381
转载 润乾报表实现移动端报表展现
可直接阅读原文：http://c.raqsoft.com.cn/article/1539050767973?r=alice在各企业中或者电商平台的商家，业务方，每天都有大量的人需要在线查看大量的指标，用于监控、分析关键业务数据的发展趋势。同时，又有着能够随时随地，方便快捷的查看分析数据的诉求。我们习惯于，使用润乾报表在 PC 端或大屏中展现，但是你知道吗？润乾报表 V2018 是以 HTML5...
2018-11-26 18:15:06
1048
转载 10 行代码解决漏斗转换计算之性能优化
可阅读原文：http://c.raqsoft.com.cn/article/1539156910581?r=alice大数据分析的性能优化，说道底，就优化一个事情：针对确定的一个计算任务（数据确定，结果确定），以最经济的方案得到结果。这个最经济的方案主要考量三个成本：时间成本、硬件成本、软件成本。时间成本：根据计算任务的特点，能容忍的最长时间各不相同。那些 T+0 的计算任务，实时性要...
2018-11-23 16:23:20
260
转载 实时报表 T+0 的实现方案
可直接阅读原文：http://c.raqsoft.com.cn/article/1541494770016?r=alice一 问题背景在报表的应用系统中，用户越来越关注数据的实时性，希望最新发生的数据能在报表中体现出来，也就是我们常说的T+0场景, 以此及时辅助决策、驱动运营。比如交通大数据应用的场景：需要结合实时数据了解车辆通行密度，合理进行道路规划，同时根据历史数据预测线路拥堵情况...
2018-11-23 16:12:50
1154
转载 SQL 难点解决之集合及行号
可直接阅读原文：http://c.raqsoft.com.cn/article/1542508403539?r=alice1、 和集示例 1：求重叠时间段的总天数MySQL8:with recursive t(start,end) as (select date'2010-01-07',date'2010-01-9'union all select date'2010-01-...
2018-11-23 16:06:03
157
转载 如何实现日历类报表
可直接原文阅读：http://c.raqsoft.com.cn/article/1540824028843?r=alice数据一般都具有天然的时间属性，在很多业务中，以自然月为周期进行数据统计、分析和展示非常普遍。例如，在人事系统中查看某个月的考勤信息、销售人员查看自己或者部门的日程安排等。这些情况下，将报表以日历形式进行展示，往往具有更加直观的展示效果。下面，我们将通过一个常见的考勤报表...
2018-11-23 15:59:17
396
转载 玩转MongoDB数据库计算
原文链接：http://c.raqsoft.com.cn/article/1540877315505?r=aliceMongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于...
2018-11-23 14:45:29
910
转载 报表实时刷新显示时间
原文链接:http://c.raqsoft.com.cn/article/1533395680659?r=alice报表，除了相对静态地展现汇总统计数据以及分布、趋势等数据内容外，也可以用于显示和时间相关的即时信息，包括实时显示时间。例如，下面这个设备监控应用统系中，首页除了显示实时监控数据外，还需要在右上角显示实时时间：这种形式的“动态报表”其实在我们生活中也随处可见，最常见的就是火...
2018-11-22 09:53:11
395
转载 轻量级内存计算引擎
原文链接：http://c.raqsoft.com.cn/article/1537242080657?r=alice内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。 HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种...
2018-11-21 17:07:08
286
转载 BI报表之电网大屏显示制作
原文链接：http://c.raqsoft.com.cn/article/1536634816208?r=alice2018 年已经过半，各省又开始比考试成绩了，考试科目就叫 GDP，排在前面的自然扬眉吐气，排在后面的，就灰头土脸了，同样都是大省份，同样都是直辖市，为啥你排名靠前，我却垫了底呢？来，让小编给各位揭晓答案（此处应该有“咣咣咣”三声响）。答案便是：因为你用电量不够高！！！有...
2018-11-21 16:59:17
1958
转载 如何实现伸缩 /折叠报表
原文链接：http://c.raqsoft.com.cn/article/1540280455361?r=alice在业务系统中分组统计是比较常见的数据分析形式，但当数据项较多，或分组的层级过多时看着就会比较烦乱，为了数据更清晰的展现，通常用户会需要伸缩（折叠）显示的效果，这样分类汇总的数据就可一目了然的呈现。润乾报表内置了这种伸缩功能，提供了两种形式的折叠报表：树型折叠报表和 OLA...
2018-11-21 16:54:44
444
转载 数据脱敏的处理方法及查询
原文链接：http://c.raqsoft.com.cn/article/1542086931552?r=alice1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一...
2018-11-21 16:48:26
8095
转载 模拟测试数据的生成方法
阅读原文链接： http://c.raqsoft.com.cn/article/1542086018243?r=alice应用系统或软件产品一般都需要进行不同阶段的验证工作，包括原型功能论证、功能测试、性能测试等，这些测试、论证场景都可能涉及到测试数据的准备。测试数据有时可以直接复用历史数据，但很多情况下，基于历史数据建立的测试数据可能会出现内容缺失不全、数据量级不够、数据涉密不能导出、数据已...
2018-11-21 16:32:29
2226
转载 如何展现百万数据级的报表
数据查询业务中，有时会碰到数据量很大的清单报表。用户输入的查询条件很宽泛，可能会从数据库中查出几百上千万行甚至过亿的记录，如银行的流水记录，物流的明细等。如果等着把这些记录全部检索出来再生成报表呈现，那需要很长时间，用户体验恶劣；而且报表一般采用内存运算机制，大多数情况下也装不下这么多数据。所以，我们一般都是使用分页呈现的方式，尽量快速地呈现出第一页，然后可以随意翻页显示，每次只显示一页，也不会造...
2018-08-31 12:01:00
699
转载 如何优化多数据集关联报表性能
多数据集关联报表是很常见的报表形式，它允许开发者分别从不同的来源（表或数据库）分别准备数据形成不同的数据集，在报表端（模板）通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的 SQL/ 存储过程，降低维护难度。尤其当报表数据来源于多个数据库时，多数据集的优势更加明显。凡事都有两面性，多数据集为开发带来方便的同时却对性能造成了极大的影响。在报表端进行多数据集关联时要计算关...
2018-08-28 11:37:02
398
转载 报表中如何做精美的地图
在地图上展现地域相关的数据，是在公共设施管理、交通、电信、城市建设、能源、电力、农业等国民经济相关的应用系统中是比较常见的直观图表形式。以前，如果在报表应用系统中需要显示地图相关的信息，开发人员可能会第一时间想到 GIS(Geographic Information Software 地理信息软件)，但是 GIS 的体系较大，需要开发人员定义 GIS 中被执行的各种任务，开发相应的处理程序。 熟练...
2018-08-28 11:22:05
365
原创 润乾将excel转成pdf导出
想要通过润乾报表将excel转成报表之后在通过报表的方法导出成pdf文件，通过润乾setExcelFile这个方法将转报表，在调用润乾的导出pdf.具体可以看一下代码。package com.sinosoft.core.util;import java.io.*;import com.raqsoft.report.model.*;import com
2017-12-04 10:01:26
740
原创 润乾报表V5连接mongodb数据库
本地安装的是3.4.7的版本的数据库，先安装数据库，安装成功之后插入了一个数据表，接下需要配置dsn这个一般配置一次就可以。在里面配置数据源名称这个因为安装数据库没有给密码，所以没有输入用户名和密码设置，这个是在数据库端配置的，接下来是在设计器里面配置，用设计器连接之后，可以在看到数据库中看到的表。注意：如果连接上数据库之后，如果发现在表中看不到数据
2017-08-28 11:01:47
717
原创 润乾报表下拉数据表异步加载
一、 关联过滤的异步加载使用说明：1、适用于要异步加载的数据可用SQL读取的情况制作一张参数模板添加数据集 以地区表为例省份，城市，地区在单元格中设置编辑风格为下拉数据集，设置里面异步加载指定数据源(在异步加载面板中指定取数的数据源名称，为空表示用默认数据源) 省份和国家单元格关联在异步记载的面板里面设置取数sql ,SQL中按真实值列和显示值列的顺序只
2017-08-11 13:48:03
984
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人