Raqsoft

打印和导出是报表工具的基本功能，国内项目中的报表在绝大多数情况都有复杂的打印和导出需求，有时候这一项功能点的缺失会卡住项目无法进展，因此这也是报表工具选型的是重要考察点。我们将对润乾、帆软、Smartbi、永洪、亿信几款将报表能力作为宣传重点的产品进行评测并对比，看看其打印和导出的功能如何。第一部分 打印技术1．打印支持方式对比报表都可以呈现在浏览器中，所以也都可以直接使用浏览器的打印功能，这种方式的优势是很简单，不需要做专门处理。但浏览器打印的问题也很多，主要是难以精确控制打印效果，比如不能精

实现思路如下：部署服务部署服务器操作可分为两步，首先是配置服务器参数，其次是启动服务器。服务器配置在集算器安装目录的 esProc\bin 路径下，找到 esprocs.exe 文件，可以直接运行它来启动或配置服务器，运行后，打开窗口如下：在 esprocs.exe 执行时，窗口中会显示加载初始设定的信息，这些设定实际上是由配置文件 raqsoftConfig.xml 决定的。在右侧的菜单栏中点击 Options，可以配置服务器的相关信息，点击后弹出服务器...

在数据分析过程中，经常会处理文本文件中的结构化数据（txt，csv等），有时这些文件还会很大，计算机内存不足以一次性读入。这时，只能将数据分批读入内存，对每批数据计算出临时中间结果，分批处理完以后，再按照计算要求对分批处理结果进行恰当的汇总处理，与一次性装入内存的小文件数据计算有很大的不同。实现大文件计算需要了解一个重要的概念—游标。我们以前比较熟知的是数据库游标，在数据库中使用游标，可以每次返回部分数据，而不将所有数据同时读入内存。游标类似于一个指针，在读取时会通过移动指针的位置来从结果集中每次提取部

前几天听说 OceanBase 打榜了 TPCH 的第一名，之后又看到这样一个测试报告《OceanBase 开源版与 TiDB 对比测试报告》。先点评一下这个测试报告：1. 坦白地说，这个测试还不太专业，并不能比出分布式大数据计算的关键能力。TPCH10G 的数据量相对于这些机器内存实在太小了（单机内存都超过数据量 18 倍以上）。这种情况下，再加上预热，数据已经全部缓存到内存了，列存基本不起作用，也就谈不上对比列存引擎的能力了。而且，数据量太小，会被作为小表复制到集群中的每个节点，分布式计算中重要

实践目标简介润乾报表的安装及集成，然后在客户集成了润乾报表的业务系统上编写jsp，实现在数据文件上做多维分析，基于不同的集成需求或业务需求，分别介绍实现方式。安装润乾报表并体验从润乾论坛的下载页面http://c.raqsoft.com.cn/tag/Download，下载最新的润乾报表安装包，注意同时也要下载试用授权，第一次启动的时候必须设置授权才能启动。可以启动{安装目录}\report\bin\dql.exe，然后启动它内置的tomcat，访问“DQL分组分析”，就能在浏览器中打开多维

我们知道，报表呈现的数据常常并不是直接从数据库（源）取出来的数据，而还要进行一些运算，报表工具通常也会提供一定的运算能力（如过滤、分组等）以应对这种需求。但是，情况复杂时，报表数据集上的运算可能要多个步骤才能完成，这时候就要考查报表工具对过程式计算的支持程度了。用例说明统计要求列出指定时段的大客户。所谓大客户，定义为销售额占前一半的客户，也就是把客户销售额从大到小排序后，前面若干个客户的合计销售额构成总销售的一半，这些客户被称为大客户。报表式样数据结构[销售记录表]特点分

集成集算器 JDBC首先将集算器 JDBC 集成到 JasperReport 设计器中，简单来说就是，将集算器 JDBC 所需的 jar 包及配置文件添加到 JasperReport 的 Classpath 中。需要注意的是，集算器 JDBC 所要求的 JDK 版本不得低于 1.8。实现思路如下：1. 创建配置文件创建集算器 JDBC 必须的配置文件 raqsoftConfig.xml，可以在 [安装目录]\esProc\config 下找到，配置文件的名称不可改变。在 r..

1. 过滤从数据表中筛选出满足条件的记录。示例：从学生成绩表Students_scores.txt中筛选出10班的学生成绩，文件中第一行是列名，第二行开始是数据，如下图所示。 A 1 =T(“E:/txt/Students_scores.txt”).select(CLASS==10) A1 读取文件中数据，然后选出班级为10的数据记录。T函数会自动根据文件扩展名选用适合的分隔符。2. 汇总对数据表中的数据进行汇总。示例：计算学生成绩表中全体学生的...

排名与跨行组运算也是典型的中国复杂报表形式，这类报表的源数据集通常比较简单，但在表格的单元格之间会有较随意的计算要求。在制作报表时，单元格还没有扩展出来，因而不能像 Excel 那样直接引用单元格名字，报表工具需要提供某种机制允许在表达式中引用还没有产生的单元格。用例说明报表式样数据结构[学生成绩表]学生成绩表中存储各班级同学历年语文、数学、语文成绩信息特点分析：1、 报表中根据学生成绩既要做班级内排名，又要做年级内排名。2、 报表中要列出去年班级内的名次，以用来展示

结构图如下：BIRT 中调用 SPL，首先需要将集算器 JDBC 集成到 BIRT 设计器中，简单来说就是，将加载集算器所需的 jar 包及配置文件放到 BRIT 对应目录中。需要注意的是，集算器 JDBC 所要求的 JDK 版本不得低于 1.6。1. 加载驱动 jar集算器 JDBC 类似一个不带物理表的数据库 JDBC 驱动，可以把它简单的看成是一个只有存储过程的数据库。另外，集算器 JDBC 是个完全嵌入式计算引擎，已经在 JDBC 中完成了所有运算，不像数据库那样 JDB..

集算器支持Excel add-in接口，既可以在单元格调用集算器表达式，也可以在单元格或VBA中调用集算器脚本文件。一、环境配置应在windows操作系统下配置JDK、集算器、Excel，对于最常见的64位windows，三个软件的位数必须保持一致，即都是32位，或都是64位。JDK集算器自带JDK，如果本机原先没有JDK，则建议跳过本步骤，在下一步安装。如果本机的JDK可卸载，建议用JAVA或Windows官方提供的工具正常卸载，再进入下一步。如果本机已安装JDK（1.8或以上版本），

遇到Excel难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到esProc，利用esProc强大的计算能力完成，再用剪贴板返回Excel。剪贴板方式比传统的add-ins方式部署更简单，操作更顺滑，开发时不影响剪贴板正常使用，且支持多个源片区和结果片区。基本用法esProc提供了函数clipboard，可实现剪贴板的基本用法。下面用“各科前3名的学生”为例进行说明。Excel中处理前的数据如下，其中A列是学生姓名，B-D列分别是数学、英语、物理成绩。 A B C .

在《Java 如何调用 SPL 脚本》中我们介绍了在 Java 中可以部署集算器 JDBC 来调用本地 SPL 脚本，那如何能在 Java 中远程调用 SPL 脚本呢？这就是接下来要说的重点！实现思路通过下图一目了然：部署服务器服务器是运行在 Java 平台上面向分析型的高性能数据库，作为高性能计算数据仓库，服务器可以在离线跑批、在线查询、多维分析和内存计算等方面提供高效的计算输出，帮助用户解决计算中的多种问题。下面我们先来了解一下服务器的使用及配置，更多关于服务器的介绍可参..

润乾报表、帆软报表、Smartbi、永洪 BI、亿信 BI 这几款国内产品都把中国复杂报表作为宣传点。我们以常见的多源分片为报表为用例，来对比评测这些产品的处理能力（由于时间和知识限制，个别很偏的功能点可能会有遗漏）。内容比较长，如果不想看细节，可以直接跳到最后看结论。用例说明报表式样数据结构[订单表]主数据存储在订单表中，该表通过雇员 ID 和销售员表关联，通过产品 ID 和产品表关联。[销售员表]销售员表中存储职务、姓名，报表左下角统计数据时按照职务和姓名统计

本文介绍SPL读写文本文件和Excel文件的基本方法，包括简单的文件目录操作。文本文件读写结构化文本结构化文本的格式比较规范，即每行一条记录，列之间用分隔符区分。SPL可用import/export函数读写结构化文本。比如：ordersNT.txt存储订单记录，列之间用制表符tab分隔，业务意义依次为：订单ID、客户编号、销售ID、订单金额、订单日期。部分数据如下：26 TAS 1 2142.4 2009-08-0533 DSGC 1 613.2 2009-08-1484 GC 1 88

结构图如下：首先将 JDBC 部署到 java 应用项目中，简单来说就是，将启动 JAVA 应用程序时加载集算器所需的 jar 包及配置文件放到项目中。需要注意的是，集算器 JDBC 所要求的 JDK 版本不得低于 1.8。1. 加载驱动 jar集算器 JDBC 类似一个不带物理表的数据库 JDBC 驱动，可以把它简单的看成是一个只有存储过程的数据库。另外，集算器 JDBC 是个完全嵌入式计算引擎，已经在 JDBC 中完成了所有运算，不象数据库那样 JDBC 只是个接口，实际运算在独立.

目前国内市场上的报表 BI 工具琳琅满目，看起来也各有特点，这给选型工作带来了一些困扰，本文就一些较活跃的报表 BI 产品进行点评，对于不太熟悉这些产品和技术的同学，可作为参考资料。这里选了十个产品，分作四类：国内报表类，国内 BI 类，国外 BI 类，国外开源报表类。每类两三种产品，在分类内大体会按面市时间为序来点评。需要强调的是，因为篇幅有限，不可能把市场上所有产品都选入，这并不意味着其它产品不好，看到结论部分时就会理解。这么分类是有意义的，同类产品大体具有相似的特征。其中，国内产品被分为报表和

这里将发布集算器 SPL处理Excel的计算示例，在职场中经常要倒腾Excel计算，有些计算实现难度较高，如何解决？看这里！0. 基本使用0.1文件读写0.2使用剪贴板0.3使用插件0.4常规数据表运算0.5大文件的运算0.6使用 SQL21. 文件提取与生成1.7复杂格式的行式文本提取1.8不确定多行构成一条单位的提取1.9指定单元格提取1.10从多卡片式表格中提取21.11行式与自由式混合结构提取21.12列...

目录#SPL基本使用Java 调用Java 远程调用BIRT 调用JasperReport 调用HTTP 方式调用开机自动启动集算器外部库介绍#示例SQL 如何实现单表分段并行取数SQL 如何实现表数据并行备份SQL 如何实现多表并行取数如何实现 SQL 语句动态拼接Java 中如何为 SQL 传递数组参数同一句 SQL 如何在异构数据库中执行如何将 csv 文件按列拆分到多个文件如何从 csv 文件中统计前几名相关信息如何从 c.

1. 性能优化案例我们怎样把 W 银行预计算固定条件查询优化成实时灵活条件查询我们怎样把 C 保险公司团保明细单查询提速 2000+ 倍我们怎样把 B 银行自助分析从 5 并发提升到 100 并发我们怎样把 C 银行资金头寸报表提速 20+ 倍我们怎样把 S 银行手机账户查询从预先关联变成实时关联我们怎样把 L 银行贷款协议跑批速度提高 10+ 倍我们怎样把 P 保险公司 2 小时的跑批优化成 17 分钟我们怎样把 S 银行 POS 机交易报表提速 30+ 倍我们怎样把

一、产品介绍1. 敏捷计算编程2. 应用计算中间件3. 高性能计算数据库二、解决方案 轻量级高性能文件型数据仓库 敏捷数据计算中间件 高性能内存数据库 轻量级多维分析后台 数据中台计算引擎 三、全国产方案 全国产计算数据库及应用 全国产商业智能（BI）解决方案 全国产计算数据库性能测试报告 四、集成与应用方法 Java 如何调用 SPL 脚本 Java 如何远程调用 SPL 脚本 C#

国内十大活跃报表 BI 产品深度对比及点评报表工具对比选型系列用例——多源分片报表报表工具对比选型系列用例——排名及跨行组统计报表工具对比选型系列用例——过程计算报表工具对比选型系列——打印与导出报表工具对比选型系列 - 页面渲染性能报表工具对比选型系列 - 容量及相关性能报表工具选型对比系列 - 多源关联性能报表工具选型对比系列 - 大报表报表工具对比选型系列—多样性数据源支持度报表工具对比选型系列——图形国内主流 BI 产品关联分析能力对比主流开源 BI

润乾报表提供了开源的BI组件，用户可以免费基于源码进行深度定制。系列实践BI 前端实践 1：文件数据源做多维分析 BI 前端实践 2： SQL 数据源做多维分析 报表＆BI BI 前端实践 3：较大数据量的 SQL 多维分析 BI 前端实践 4：自定义多维分析界面 BI 前端实践 5：自定义多维分析显示风格 BI 前端实践 6：自定义模板展示多维分析结果 BI 前端实践 6：自定义模板展示多维分析结果 BI 前端实践 8：关联查询语言──DQL BI 前端实践 9：由 DQL 支持的

1. 数据源相关1.1 报表工具连接文本数据1.2 报表工具连接非关系数据库（待补充）1.3 报表异构数据源关联混算1.4 报表工具 json 数据源1.5 报表工具连 sap hana1.6 报表工具连 MongondbMongondb 计算报表工具连 Mongondb1.7 报表工具连 sap dw（待补充）1.8 报表工具连 hive1.9 报表工具访问阿里云1.10 报表工具访问 Hbase1.11 报表工具访问 Spark...

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解多维分析后台实践 3：维度排序压缩实践目标本期目标，是在完成数据类型转化基础上，实现维度排序压缩，进一步提升计算速度。实践的步骤：1、 准备基础宽表：修改上期的代码，完成维度排序压缩存成新组表。2、 访问基础宽表：上期代码不必修改，直接应用于新组表。3、 新增数据追加：每日新增业务数据追加，每月重新排序重整。要尽可能不影响访问基础宽表的性能，同时减小每日新增数据所需要的时间。本期样例宽表不变，依然..

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解多维分析后台实践 2：数据类型优化实践目标本期目标是练习将数据库读出的数据，尽可能转换为有利于性能优化的数据类型，例如：小整数和浮点数。实践的步骤：1、 准备基础宽表：修改上期的代码，完成数据类型优化存为组表文件。2、 访问基础宽表：修改上期的代码，在传入参数保持不变的前提下，查询数据转换之后的组表文件，结果集也要返回原有的数据显示值。对于这个要求，SQL 是无法实现传入参数和结果集的转换的，所以访问宽表的代码以.

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）基础宽表的实现。点击了解多维分析后台实践 1：基础宽表实践目标本期目标是练习如何搭建多维分析后台的基础宽表，并通过 SPL 和 SQL 访问基础宽表。实践的步骤：1、 准备基础宽表：将基础宽表数据从数据库中取出，存成组表文件。2、 访问基础宽表：用 SPL 或者 SQL 语句访问。本期样例宽表为 customer 表。从 Oracle 数据库中取出宽表数据的 SQL 语句是 select * from customer。执行.

【摘要】有序运算是指按照一定的次序对有序集合的成员进行计算。SQL 和 SPL 是大家比较熟悉的程序语言，本文将探讨对于有序运算问题，这两种语言的解决方案和基本原理。如何简便快捷的处理有序运算，这里为你全程解析，并提供 SQL 和 SPL 示例代码。SQL 和 SPL 的有序运算对比使用过 SQL 或 SPL 的朋友对计算字段都不会陌生，比如 firstname+lastname，year(birthday)，这些计算字段属于行内计算。不管表达式里用到的是单个字段，还是多个字段，...

【摘要】多维分析（OLAP）中常见的枚举维度切片（过滤条件 in）和二值维度（是否型过滤条件）如何优化？点击了解枚举维度与二值维度切片的优化问题描述多维分析（OLAP）系统的汇总和切片，实际上是在计算分组汇总和条件过滤。切片过滤条件的情况多种多样，其中比较多的是枚举维度切片和二值维度切片。枚举维度切片是指过滤条件中的in计算，例如：D5 in (valueB,valueC)，也就是过滤条件字段在一个枚举范围内取值的情况。在实际应用中，“按照客户性别、员工部门、产品类型等切片”就属于枚举维.

【摘要】循环运算是指按照一定的次序对集合的成员进行计算。除了在循环中访问当前成员、对成员赋值等简单的计算，还有在循环中进行跨行计算、嵌套循环、迭代运算等复杂需求。如何简便快捷的处理循环运算，这里为你全程解析，并提供 esProc 示例代码。循环运算1. 循环比较每行记录判断文件是否相同循环判断，每次在序列最后添加新的成员。【例 1】 比较两个行数相同的文件中有多少行数据完全一致。文件部分数据如下：ID Predicted_Y Original_Y 10...

一、问题背景与适用场景通常分组计算都采用hash方案，即先计算分组字段的hash值，hash值相同的记录被分拣到一个小集合里，然后在这个小集合中遍历找分组字段值相同的聚合成一组。分组的复杂度(比较次数)，取决于hash函数的重码率。在hash空间比较小时，重码率就高，比较次数就会多，性能会受较大影响。为了提高性能，就需要分配较大的内存来存放 hash 表。另外，有些数据类型（长字串）的 hash 计算也比较慢，这也会影响性能。如果分组字段是有序的，在分组的时候，每条记录只与上一条记录比较，...

【摘要】集算器 SPL 集成了对 python 程序的调用，也提供对建模算法接口支持。具体开发要求、使用详细情况，请前往乾学院：SPL 中调用 Python 程序!集算器是强大的数据计算引擎，但目前对于机器学习算法的提供还不够丰富。而 python 中有许多此类算法。借助 YM 外部库，就可以让集算器 SPL 调用 python 写的代码，从而弥补这一不足。下面具体说明：1．SPL 与 python 环境配置2．python 模块开发规范要求3．ym_exe...

【摘要】集算器 SPL 支持抓取网页数据，根据抓取定义规则，可将网页数据下载到在本地进行统计分析。具体定义规则要求、使用详细情况，请前往乾学院：集算器 SPL 抓取网页数据!网站上的数据源是我们进行统计分析的重要信息源。当我们浏览网页，看到自己感兴趣数据内容时，希望能够快速抓取网页上的数据，这对于数据分析相关工作来说极其重要，也是必备的技能之一。但是网络数据抓取大多需要复杂的编程知识，操作也比较繁琐。这里介绍如何用集算器 SPL 快速抓取网页数据。1、基本流程图2...

【摘要】面对高并发账户记录查询问题，按照本文的介绍一步一步操作，就能有效提升性能。点击了解高并发账户记录查询问题描述高并发账户记录查询在银行、互联网企业、通信企业中广泛存在。例如：网上银行、手机银行、电商个人账户查询、互联网游戏账户等等。这类查询有三个共同点：1、 数据总量非常大。用户数量本身就非常多，再加上多年的账户数据，数据量可以达到几千万甚至上亿条。2、 访问人数众多。几百万甚至上千万人访问，属于高并发查询。3、 不能让用户等待。手机、网页要达到秒级响应，否则严重影响...

一、问题背景与适用场景什么是后半有序？如果数据集T已经按字段a、b有序，现在我们要将T按b排序或分组时，因为在a值相同的段内，b都是有序的，这种要排序或分组的字段在分段内有序的情况就称为后半有序。我们知道，快速排序算法的原理就是一种递归的分段排序再归并的算法，对于后半有序这样的已经大体有序的数组，快速排序的速度已经能够很快。所以如果采用快速排序算法对T按b排序后，就可以使用《性能优化技巧：有序分组》中介绍的优化原理进行分组了。SPL提供了后半有序分组方法，我们实例测试一下，并且与SPL和Or..

一、问题背景与适用场景在对数据集进行排序运算时，有时会遇到这样一种场景：数据集T已经按字段a有序，而字段b无序，现在我们要将T按a、b排序，我们称之为前半有序(a有序)的排序。此时我们能想到一种优化的排序方法：从T中先取出a值相同的一组记录，再这一组内对b排序。然后再依次取出下一组a值相同的记录，重复这个动作，直到完成T中所有记录的排序。这种方法的好处是不需要对T中所有记录进行大排序，一次只需取出一小组，对内存容量要求大大减低，只需能装下每个小组即可。遗憾的是SQL并不支持这种优化算法，只...

【摘要】字符串和日期时间都是基础数据类型。虽然说是基础，使用起来却经常给我们带来麻烦。SPL 提供了丰富而简洁的函数，可以轻松解决字符串和日期时间的难题。去乾学院看个究竟吧！字符串和日期时间的处理复制摘要一． 字符串1. 连接（1）两串相连（2）串与任意类型相连（3）序列成员相连（4）序表成员相连2. 拆分（1）拆分成字符序列（2）拆分成单词序列（3）用分隔符拆分...

将两个表或者多个表关联在一起是常见的运算，这时通常使用 SQL join 的方式进行关联并进行后续计算。但有时数据并不存储在数据库，而是以文件的形式存储在文件系统，单纯为了计算而把数据存储到数据库有点得不偿失。Python 的 Pandas 提供了丰富的关联运算函数，能更方便的完成文本文件间的关联计算，现在我们就一起来讨论下 Python 的关联处理。基础关联所谓关联是指两张数据表通过某个字段或者某些字段之间存在的某种关系，将两张表以某种条件关联起来。SQL 中的关联可以是等值 JOIN 也可以

【摘要】全量预汇总真的是提高 OLAP 性能的可行方案吗？点击了解OLAP 服务器，空间换时间可行吗？ 多维分析提供拖拽、旋转、切片、钻取等等人机交互操作，必须有秒级的响应速度。而这些操作对应的明细数据量非常巨大，如果在明细数据的基础上直接计算，速度会很慢，等待时间过长，是用户无法接受的。 图1：基于明细的OLAP响应时间过长为了保证秒级甚至毫秒级的响应速度，一些OLAP产品事先将几千万甚至上亿条明细数据计算成汇总数据，保存在硬盘上。这样，在分析...

Excel 中遇到较复杂的运算，数据分析师常会用 add-ins 辅助解决。本文考察了一些常见的 add-ins，从部署难度、开发难度、流畅程度等方面进行深度对比，并着重考察了数据计算能力，esProc 在这些 add-ins 中的表现相对出色。点击辅助 Excel 的数据计算 add-ins了解详情。对于大多数简单运算，Excel都提供了方便的实现手段，有时是易用的函数，有时是直观的按钮或菜单。但我们还是会遇到的一些较复杂或特殊的运算，依靠Excel本身很难实现。Excel提供了add-in接口.

什么是有序计算 使用过 SQL 的朋友对计算字段都不会陌生，比如 firstname+lastname，year(birthday)，这些计算字段属于行内计算，不管表达式里用到的是单个字段，还是多个字段，使用的数据都在当前记录行内。有行内计算，对应的也就有跨行计算，如：第一名和第二名的差距；从 1 月到当前月份累计的销售额。按照成绩有序，才会有第一名、第二名的说法，累计操作同样基于有序数据，从第几个累加到第几个，这些基于有序集合的计算，就属于有序计算。行内计算关心的是每条数据自身的情况，而跨...

【摘要】本文分析大文件计算的实现原理，如过滤、聚合计算、添加计算列、排序、分组聚合、topN 等，以及利用并行计算来提高计算速度，并用 esProc SPL 举例说明如何用简洁的脚本实现大文件计算。请点击大文件上的结构化数据计算示例了解详情在数据分析过程中，经常会处理文本文件中的结构化数据（txt，csv等），有时这些文件还会很大，计算机内存不足以一次性读入。这时，只能将数据分批读入内存，对每批数据计算出临时中间结果，分批处理完以后，再按照计算要求对分批处理结果进行恰当的汇总处理，与一次性装入内.

【摘要】本文介绍如何将各种结构的 Excel 文件解析成结构化数据，如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等，并用 esProc SPL 举例实现。请点击Excel 文件结构化解析示例了解详情在数据分析业务中，经常要把Excel文件数据结构化解析以后再进行计算或导入关系数据库，但许多Excel文件的格式并不规整，而且文件结构也多种多样，导致编程进行结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。本文将介绍如何进行各种格式的 Excel 文件结构.

【摘要】本文介绍如何将经各种渠道得来的结构化数据自动生成各种格式的 Excel 文件，如单纯导出数据、导出大量数据、指定显示属性、固定行列填充、动态条件显示属性、分组带明细及统计、交叉统计表等，并用 esProc SPL 举例实现。请点击生成各种格式的 Excel 文件示例了解详情在数据处理时，有时要把查询、分析计算、统计、数据采样等各种渠道得来的结构化数据，用程序自动生成各种格式的Excel文件。本文将分别针对单纯导出数据、导出大量数据、指定显示属性、固定行列填充、动态条件显示属性、分组带.

【摘要】本文介绍两个文本文件进行比对，按照需求找出文件中数据相同或不同时，会遇到的几种情况，并用 esProc SPL 举例实现。请点击文本文件比对示例了解详情在数据处理业务中，有时需要比较两个文本文件内容有哪些相同或不同的数据，本文将介绍文本文件比对的几种情况，如整行比对、关键列比对，同时又分小文件、大文件比对，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中有一套完善的集合运算领域的函数库，做文件比对很方便，写出的代码非常简洁。1....

【摘要】本文介绍小文件与大文件在进行数据去重时的几种处理办法，比如按整行或关键列去除重复数据或留下重复数据，并用 esProc SPL 举例实现。请点击文件数据去重示例了解详情在数据处理业务中，有时需要清除文件中的重复数据或只留下重复数据，本文将从小文件、大文件两方面介绍整行去重、关键列去重的几种处理办法，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中有一套完善的集合运算领域的函数库，很适合处理文件去重，写出的代码非常简洁。1. 小文...

Pandas 是 python 的一个数据分析包，是基于 NumPy 的一种数据分析工具，其中纳入了大量库和一些标准的数据模型，提供了快速便捷地处理数据的函数和方法，是高效地操作结构化数据集所需的工具，也是使 Python 成为强大而高效的数据分析环境的重要因素之一。但是相信经常使用 Pandas 的同学在处理结构化数据运算时也会遇到一些麻烦，这些问题要么使得问题解决很复杂（代码难写），要么使得运行极其缓慢（效率低下），下面总结整理了一些 Pandas 的困难问题进行吐槽，如有谬误欢迎指正，也欢迎大家参

SQL 的后计算脚本用于实现 SQL 不适合的某些复杂运算，本文从此类工具中精心挑选了三种，从开发效率、语法表达能力、结构化函数库等方面进行深度对比，考察了各脚本在集合计算、有序计算等重点运算上的表现，esProc 在这几款工具中的表现最为出色。点击SQL 的后计算脚本了解详情。大多数情况下，我们用SQL（存储过程）就可以完成数据库计算，但如果遇到SQL不擅长的某些复杂运算，就只能用其他程序语言把数据读出库外，然后在数据库外完成计算，这样的程序语言经常是以简单脚本的形式出现，我们在这里称为SQL的.

【摘要】本文介绍用 esProc SPL 实现合并资产负债表，包括不同时段合并和不同部门合并。请点击合并资产负债表了解详情在企业财务工作中，每个财务周期都要制作资产负债表，周期分为月度、季度、年度。季度报表可由月度报表合并得来，年度报表可由季度报表合并而来。有些大企业有许多部门，各部门也有资产负债表，总公司的资产负债表可由各部门的合并得来。如果由人工来进行这种合并工作，不仅烦琐，还易出错。如果使用程序自动完成这种工作就会既高效又正确。本文将介绍 esProc SPL 编写的资产负债表合并代码示例.

【摘要】本文介绍直接用 SQL 查询文件数据的各种情况，并用 esProc SPL 举例实现。请点击在文件上使用 SQL 查询的示例了解详情在数据分析业务中经常要处理数据文件。我们知道，对于数据库中的数据，使用SQL来查询是非常方便快捷的，所以很容易想到把文件数据先导入到数据库再用SQL来查询。但是文件数据导入数据库本身也是很繁琐的工作，那么有没有直接对数据文件使用SQL查询的办法呢？本文将介绍这样的办法，列举出用 SQL 查询文件数据的各种情况，并提供用 esProc SPL 编写的代码示例。.

在《利用历史数据做商业预测的全过程》(以下简称前文) 一文中我们介绍了如何使用历史数据进行商业预测的过程。不同的商业需求，还会有些各自的特殊性。例如，在很多业务场景中，存在一种数据不平衡的现象，比如银行贷款违约，违约的人只是很小一部分人；保险欺诈，欺诈者也是个别现象；还有产品质量中不良品的比例、工业生产中非计划停车现象……。这些罕见现象的发生比率很低，但一旦发生就会产生较大的损失，所以要尽量能预测出来并避免。本文将介绍如何来预测这些罕见发生的现象。1. 准备历史数据数据准备的过程如前文所述，但是对于

我们在《利用历史数据做商业预测的全过程》(以下简称前文) 一文中介绍了如何使用历史数据进行商业预测的过程。不同的商业需求，还会有些各自的特殊性，本文将介绍如何使用预测技术来提升营销成功率。1. 准备历史数据在营销场景中，要预测的目标是客户的购买行为，需要搜集一些可能会影响购买行为的信息字段，比如客户的年龄、学历、工作、收入、家庭结构、生活习惯、购物偏好，以及产品的特点、促销力度等信息，收集到的相关信息越多，预测效果也会越好。另外，我们还可以根据业务特点，分地区、分客群进行预测，比如纽约的房价和中

使用历史数据进行商业预测，首先我们要知道什么东西是能够被预测的，举几个例子： 银行放贷款时，希望预测出当前贷款人是否可能违约？ 保险公司希望预测出客户的理赔风险，从而更灵活的制定保费，高风险高收费，低风险低收费 银行有很多种金融产品，希望预测出哪些用户会购买哪些产品，更精准的进行销售活动 工业生产中，企业希望预测设备的运行状态，减少非计划停车 商场超市希望预测出产品的销量，可以精准备货，降低库存 互联网金融信贷业务，希望预测出借资金的流动情况，合理管理

【摘要】选出是指在集合中，根据指定条件获取成员。选出与定位计算很相似，不过定位关心的是成员在集合中的位置，而选出关心的是成员记录的详细信息。比如选出入职超过 10 年的员工收入，查询销售额超过一万的客户名称等等。如何简单快捷的实现选出？这里将为你全程剖析，并提供 esProc SPL 示例代码。 结构化数据上的选出运算1. 选出符合条件的成员【例 1】 分栏列出欧洲和非洲人口超 200 万的城市名称及人口（每栏按从多到少排序）。世界城市人口表部分数据如下：Continent ...

一、 问题描述键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 O(log2N)， 10 亿行数据大概只要比较 30 几次（10 亿约等于 2^30），在现代计算机上是个毫秒级别的事务。不过，如果需要查询的键值很多，比如多达几千甚至几万的时候，如果每次都独立查找，那读取和比较也会累积到几万甚至几十万次，时间延迟由此也会涨到几十秒甚至几十分钟的级别，简单地使用数据库索引对于用户体验必然是难以容忍的..

【摘要】在分组时经常会要求结果集必须按基准集合的次序出现，这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。如何简便快捷的处理对齐分组，这里为你全程解析，并提供 esProc 示例代码。按指定基准对齐的分组运算对照一个基准集合，将待分组集合成员的某个字段或表达式与基准集合成员比较，相同者则分到同一个组中，最后拆分出来的组数和基准集合成员数是相同的。这种分组我们称为对齐分组。对齐分组可能会有空组，也可能有成员未分配到任何一个组中。1. 普通对齐分组...

【摘要】聚合运算是指对数据进行计算，返回聚合结果。聚合运算经常伴随着分组运算，除了常见的求和、最大值、最小值、计数等聚合运算，还有一些逻辑运算等等。如何简便快捷的处理聚合问题，这里为你全程解析，并提供 esProc 示例代码。非常规聚合问题举例1. 枚举分组后聚合求和【例 1】 从城市 GDP 表中，分别统计直辖市、一线城市和二线城市的人均 GDP。城市 GDP 表部分数据如下：ID City GDP Population 1 Shanghai...

【摘要】从数据表中选出数据时，有时候需要判断成员在某些条件下是否存在，这些条件可能是从其他的数据表中查询的。例如分数是成绩表的字段，怎样从学生表中选出各科分数都高于 80 分的学生？如何简便快捷的处理结构化数据中的存在判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的存在判断问题1. 外键映射的存在性检测在两个表中，根据外键映射的存在性查找记录。【例 1】 统计一班男生的平均分。成绩表和学生表如下：【解题思路】从分数表选出数据时，判断是否存在班...

【摘要】从数据表中选出数据时，有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息，从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的从属判断问题1. 集合包含性检测在一个表中，根据集合的包含性判断查找记录。【例 1】 在员工表中，统计一线城市各部门的平均工资。部分数据如下：ID NAME CITY SALARY 1 Reb...

时间序列数据的计算脚本须具备较强的有序计算能力，本文从此类工具中精心挑选了三种，从开发效率、语法表达能力、结构化函数库等方面进行深度对比，考察了各脚本在序号计算、相对位置计算、有序集合计算等重点运算上的表现，esProc 在这几款工具中的表现最为出色。点击适合时间序列数据的计算脚本了解详情。时间序列数据在这里指按时间排序的日常业务数据。对时间序列数据进行计算时，不仅涉及季度、月份、工作日、周末等常规计算，还经常遇到较为复杂的有序运算，这就要求脚本语言应具备相应的计算能力。一般用于处理时间序列数据的.

【摘要】在数据计算时，除了每条记录本身，经常也会关心有序集合中与位置相关的计算。例如：编号为 752084 的订单在销售表中的第几行？2019 年上证指数收盘价最高的是第几个交易日？如何简单快捷的实现定位？这里将为你全程剖析，并提供 esProc SPL 示例代码。有序集合上的定位计算1. 定位成员定位成员是指在有序集合中通过比较成员来查找位置。【例 1】 下面任课教师表中，第一列是教师姓名，第二列是学科，后面是课程代码（null 表示空）。任课教师表部分数据如下：Teachers...

esProc 的 SQL 功能支持文件计算、性能优化等独特功能，本文将总结桌面 IDE、命令行等不同环境下 SQL 的用法，以及常用文件格式、特殊分隔符等多种应用方案，详情点击esProc 的 SQL 应用方案因为支持文件计算、性能优化等独特功能，esProc的SQL功能深受大家喜爱，为了大家更方便地使用，下面将总结SQL的各类应用方案。基本用法SQL的基本数据源为文本文件和Excel。文本文件有两种常见的分隔符，制表符分隔的文件一般以txt为扩展名，逗号分隔的文件通常以csv为扩展名，e.

【摘要】从数据表中选出数据时，有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息，从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的从属判断问题1. 集合包含性检测在一个表中，根据集合的包含性判断查找记录。【例 1】 在员工表中，统计一线城市各部门的平均工资。部分数据如下：ID NAME CITY SALARY 1 Reb...

有些报表查询出的数据行数可达千万甚至上亿，这类报表通常被叫做大报表，大多数情况下都是些清单明细数据报表，也有少量分组报表。针对大报表，如果像常规报表一样，将数据一次性全取再交给前端呈现是不可行的。一是等待时间太长，用户体验差；二是很可能导致内存溢出造成应用崩溃。那么，目前的报表产品是如何解决这一问题的呢？本文将调研并测试几款报表产品的大报表解决方案，还是针对这三款产品：润乾报表、帆软报表、Smartbi，均为最新版本。首先了解下各家的解决方式或机制。解决机制帆软帆软提供两种引擎，行式

本次仍然评测这几款主流的报表工具：润乾报表、帆软报表、Smartbi、永洪 BI、亿信。之前在多源关联分片报表中验证了各个报表工具的多数据源关联功能，这些产品都能支持多数据源，但对不同类型数据源的支持程度并不一样。目前常用的关系型数据库基本上都提供 jdbc 接口，所有报表工具都支持，这里就不做详细说明，下面主要看下几种数据源的支持情况：1、 文件数据源，如 Excel、txt、csv 等。2、 webservices 接口数据源，如服务返回的 json 或 XML 格式数据3、 非关系型数据库

报表呈现有这么几个阶段：取数、报表计算、生成 html 及页面渲染，报表计算是考察报表性能中较为重要的一环。多数据源（集）关联报表是一种计算量随规模增长较大的报表，适合用于进行此项测试。本文将对比报表的关联运算性能，产品依然是三款：润乾报表、FineReport、smartbi，均使用最新版本，涉及报表数据来源为同库同表。测试采用多数据集间关联计算，报表格式很简单，具体可参考下面的说明。用例POS 交易情况统计，统计所有商户（包括还未使用但已申请且开头 pos 刷卡业务的），使用本行 pos 机

【摘要】序号访问是指通过序号（索引下标）来访问有序集合的成员。序号访问除了按单个序号访问集合成员，还有按多个序号同时取多个成员的需求。除此以外，还有用倒数的序号访问成员，按固定跨度访问成员等等。如何简单快捷的实现这些序号访问需求？这里将为你全程剖析，并提供 esProc SPL 示例代码。结构化数据上用序号访问成员的问题1. 单序号访问我们可以按照单个序号，从数据表中获取一条记录。【例 1】 求 2019 年上证指数第一个交易日和最后一个交易日的交易信息。部分数据如下：Dat...

【摘要】两个有序集合之间可能进行一一对应的计算，比如两个集合如何比较大小，怎样判断集合是否相等？如何简便快捷的处理集合间的对位运算，这里为你全程解析，并提供 esProc 示例代码。有序集合间的对位运算有序集合间的对位运算，包括比较运算（>,<, 等于）和四则运算（+,-,*,/,%,\）。本问中讨论的集合，都是有序集合，有序集合的成员是有次序的。有序集合间的对位运算，会按照顺序使用对位成员进行比较或者四则运算。1. 比较两个集合的大小集合可以使用符号 ">"...

遇到 Excel 难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到 esProc，利用 esProc 强大的计算能力完成，这种方式比 add-ins 有更多优点，详细场景和代码解析请点击esProc 利用剪贴板强化 Excel 计算遇到Excel难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到esProc，利用esProc强大的计算能力完成，再用剪贴板返回Excel。剪贴板方式比传统的add-ins方式部署更简单，操作更顺滑，开发时不影响剪贴板正常使用，且支持多个源片区和结果片区。基本.

报表上的计算比较复杂，常常是内存计算，报表工具能支持的容量也就是个重要的技术指标。我们当然希望报表占用的内存尽量少，这样同样内存空间可以容纳更大的报表（更多的单元格），也能支持更大的并发数量。本文将对比报表工具的容量及相关性能，看同样的内存（可用 jvm）空间下，谁能支持更多的单元格数，以及同样规模报表的计算性能。产品还是三款：润乾报表 V2018、FineReport V10.0、smartbi V9，涉及报表数据来源的均为同库同表。测试的用例都是最简单的报表格式，具体可参考下面的说明。用例一

我们知道，报表呈现的数据常常并不是直接从数据库（源）取出来的数据，而还要进行一些运算，报表工具通常也会提供一定的运算能力（如过滤、分组等）以应对这种需求。但是，情况复杂时，报表数据集上的运算可能要多个步骤才能完成，这时候就要考查报表工具对过程式计算的支持程度了。用例说明统计要求列出指定时段的大客户。所谓大客户，定义为销售额占前一半的客户，也就是把客户销售额从大到小排序后，前面若干个客户的合计销售额构成总销售的一半，这些客户被称为大客户。报表式样数据结构[销售记录表]特点分

Data analysts often turn to add-ins when they encounter complicated computations in Excel. Here we examine and compare some common add-ins in terms of deployment process, development efficiency, application fluidity and, particularly, computational capabil

Transposition algorithm is common for SQL. There are row-to-column transposition, column-to-row transposition, dynamic transposition and join-based transposition, etc. This article analyzes the algorithm for each type of transposition and offers the sample

数据挖掘模型建好后，我们通常会关注建模时的准确率查全率等指标，但是常常会忽略模型另一个重要指标：模型的衰减程度，也就是模型在实际应用中预测能力的变化（一般都会越用越差）。为什么会发生模型衰减呢？我们知道数据挖掘的本质是发现过去事物发生的历史规律然后对未来进行预测，因此模型能够准确预测的前提就是，要预测的未来必须是历史规律的延续。但是在几乎所有的商业场景中，市场是在不断变化的，数据也在不断变化的，也就是说历史规律也是在不断的变化。而用来训练模型的数据集通常是一个静态数据集，只能描述某一段历史时期的规律模式

如今，提到人工智能，几乎无人不谈深度学习，似乎不用深度学习就不好意思谈人工智能。今天我们就用几分钟的时间来讲一下深度学习到底是什么，有什么用。首先深度学习并不等于人工智能，它只是一种算法，和普通的机器学习算法一样，是解决问题的一种方法。真要区分起来，人工智能、机器学习和深度学习，三者大概是下图这种关系。人工智能是一个很大的概念，机器学习是其中的一个子集，而深度学习又是机器学习的一个子集。其次，深度学习也不是什么新技术，深度学习的概念源于人工神经网络的研究，早在上世纪 40 年代，通用计算机问世之

页面渲染是指报表在计算完成后，生成 html 页面时加上各种格式外观属性的过程。如果在报表中添加了大量的呈现效果（隔行异色、背景图、条件警戒色等）时，页面渲染的速度就会受到影响变慢，但往往这些呈现效果又是必须的，所以这个时候就得看报表的性能了。这里对润乾、帆软和 smartbi 三款报表工具进行测试，业内还有永洪和亿信也宣称对复杂报表的支持较好，但经过基本模型测试就会发现这两款产品与前述三款差距还是比较明显（可参考后面的链接），就没必要再做更多评测了。测试的用例在数据计算上都比较简单，因为主要考察渲

继《多源分片报表》后，我们继续考察这些报表工具对复杂报表的支持程度。排名与跨行组运算也是典型的中国复杂报表形式，这类报表的源数据集通常比较简单，但在表格的单元格之间会有较随意的计算要求。在制作报表时，单元格还没有扩展出来，因而不能像 Excel 那样直接引用单元格名字，报表工具需要提供某种机制允许在表达式中引用还没有产生的单元格。用例说明报表式样数据结构[学生成绩表]学生成绩表中存储各班级同学历年语文、数学、语文成绩信息特点分析：1、 报表中根据学生成绩既要做班级内排

多维分析主要面向业务用户提供数据查询分析服务，由于业务人员不懂 SQL，也无法完成多表关联（有意义的查询经常是基于多表的），所以在多维分析建模阶段需要将多表转换成单表，也就是 CUBE。这样用户就可以很方便地通过基于一个结果集（CUBE）进行拖拽查询，从不同的角度（维度）观察数据（测度）。在多维分析中主要的计算就是按照某一个或一些维度汇总测度，如按地区汇总销售额，按年和产品汇总销量等。从运算角度来看，多维分析的本质计算就是：基于一个表的分组汇总如果用 SQL 来表达，多维分析的本质就是：

润乾报表、帆软报表、Smartbi、永洪 BI、亿信 BI 这几款国内产品都把中国复杂报表作为宣传点。我们以常见的多源分片为报表为用例，来对比评测这些产品的处理能力（由于时间和知识限制，个别很偏的功能点可能会有遗漏）。内容比较长，如果不想看细节，可以直接跳到最后看结论。用例说明报表式样数据结构[订单表]主数据存储在订单表中，该表通过雇员 ID 和销售员表关联，通过产品 ID 和产品表关联。[销售员表]销售员表中存储职务、姓名，报表左下角统计数据时按照职务和姓名统计

目前，由于数据挖掘技术的门槛较高，实现起来复杂度较大，因此一般一个数据挖掘项目通常就是建立一个模型，这个模型要尽量有更广泛的应用范围。这样做其实会导致模型的适应能力下降，而多个模型适用效果就远远好于一个模型。在需求侧，业务场景是多种多样的，模型的需求量很大。就是一个业务场景也往往不是一个模型就能完全解决的，而是需要一系列的模型。例如在精准营销场景中，使用模型可以帮助我们快速的定位潜在目标客户，提高营销成功率。通常的做法是简单的建一个全国所有客户的模型，但是各地区的营销政策和消费特点可能不同，即使同一地区

随着人工智能技术的火热，各种 AI 培训也应运而生，翻阅各种社交网站和 APP，几乎每天都能刷到 Python、人工智能相关的文章，点进去很大一部分都是培训机构给自家 AI 课程打的广告。那么业内人工智能的培训课程靠谱吗，学了之后又有多大作用？目前市场上的 AI 课程众多，质量也是参差不齐，总体来讲大概有 3 种类型。一种是打着培训人工智能的幌子，实际上只教 Python 的课程，甚至有些机构竟然混淆视听，宣传掌握了 Python 就掌握了人工智能。这种类型的课程学了以后，虽然也能建出模型，但也只是

机器学习发展到今天已经有众多优秀前辈给我们贡献了各种各种现成的开源包以最流行的 Scikit-learn 为例，提供了包括回归 (Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Clustering) 等方法的开源包，使用者可以灵活的实现各种建模操作。但是也有人发现了，同样的开源包不同的人建出的模型效果是不一样的，甚至大相径庭。为什么大牛就能建出高质量模型，而我基于开源包建的模型效果总是不尽人意呢？主要原因有以下三点：首先是

【摘要】当数据源不是来自文件和 SQL，而是由程序现计算出来的，这种情况在许多 BI 系统中都会出现，BI 系统自己管理数据模型，把数据库挡在后面，不会直接开放 SQL，更不会提供文件让你直接访问，访问数据都要通过程序接口（比如 JavaAPI 或 Webservice）——这样一来，想要对这些程序接口返回的结果集做多维分析看似就有些困难了。没关系！润乾多维分析分分钟就能帮您搞定！程序数据集上的多维分析！小编我本着先客户之忧而忧的服务宗旨，思前想后还是觉得之前的《把 Excel 透视表搬到 WEB.

【摘要】多维分析程序支持对任何数据库做 SQL 数据集多维分析，只需先把数据源配置好，然后程序猿啪啪几下敲下需要进行多维分析的 SQL 语句就可以，灵活便捷，去乾学院看个究竟：给一句 SQL 就能做多维分析！《把 Excel 透视表搬到 WEB 上》我们以 Excel 文件数据集为例，介绍了如何把 Excel 的数据透视表嵌入到俺的应用程序中。爱学习的同学会问了，Excel 数据透视表可以使用 Excel 里取到的任何数据，比如数据库取数，你们能直接从数据库取数做分析吗？Yes，ICan!俺的程.

【摘要】Excel 透视表 - 只要遇见就不曾忘记！根据原始数据勾勾选项拖拖拽拽，分析数据嗖一下就出来了，这么好用的东西怎么能移到 WEB 上呢？去乾学院看个究竟：把 Excel 透视表搬到 WEB 上！提起 Excel 一定都不陌生，尤其是里面的数据透视表，对于需要进行聚合分析的情况，根据原始数据勾勾选选就能完成，用起来是倍儿爽吧。那么，操作起来这么省心的功能要是能移到 WEB 上，嵌入俺的应用程序里，是不是就完美了？so easy! 雷锋同志马上来教你做这事儿。主角登场——润乾报.

【摘要】Echarts，江湖人称一个纯 Javascript 的图表库，图形种类星罗棋布且个个颜值爆表，可以轻松驾驭 PC 和移动设备，与绝大部分浏览器都可称兄道弟，而且已然众多拥趸，还有不少报表对它采取了嫁接技术。这么棒的图标库如何能在报表工具里导出和打印呢？Echarts 图形是由 Javascript 亲自在前端网页上绘制的，需要从浏览器中截取图形才能导出和打印，而报表工具的导出功能是在后台实现的。所以这就有一定难度了，快去乾学院看个究竟：如何才能导出和打印 Echarts 图形？！.

  A lightweight desktop script tool is a must-have for data analysts. But how do you know which is the most suitable one? Let me walk you through four top script tools to experience and compare their usability, dev efficiency, types of supported data sourc

我们知道，数据挖掘的基本流程包括：（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。其中第 4 步，数据预处理和建模是整个流程的核心部分，其他的步骤都是围绕的该步骤进行的。建模高手和初学者的差距也往往在这里，建出一个模型很容易，快速高效的建出一个好的模型却不容易。机器学习发展到今天已经有众多优秀前辈给我们贡献了各种各种现成的算法包，例如在 Scikit-learn 里就提供括回归 (Regression)、降维(Dimensionality Re

  The Python programming language has become more and more popular in handling data analysis and processing because of its certain unique advantages. It’s easy to read and maintain. pandas, with a rich library of functions and methods packaged in it, is a

为了回答这个问题，我们先来了解一下建模的流程，通常一个完整的数据挖掘项目包含以下流程（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。这个流程的操作性很强，也是业界公认标准。业务理解的主要工作有需求调研，了解商务背景；明确业务目标和成功的标准。数据理解和业务理解一般是同时进行的，主要内容包括确定建模所需要的数据，描述数据，探索数据，检验数据质量，明确数据挖掘目标和成功标准。这两个阶段的主要任务就是明确挖掘目标和建模数据，目标和数据都明确以后就

当前用于数据挖掘的工具软件主要有两类，早期都是有图形化界面的商用软件，比如 SAS 和 SPSS，此类工具历史悠久，性能稳定。图形化的操作界面基本以拖拽填写为主，配合少量脚本编程，使用较为方便。不过，此类工具的价格也比较高，一般只有大型企业在用。近年来，随着人工智能的普及，出现许多开源编程类工具，以 Python 和 R 为代表，此类工具操作灵活，支持多种数据挖掘相关拓展库。而且，因为开源而完全免费。但是，无论是图形化操作工具还是开源编程类工具，都要求使用者具备丰富的统计学经验、机器学习算法知识，否

当前，提到人工智能、数据科学几乎就一定会提到 Python，很多人工智能相关的课程实质上也都在大篇幅的讲 Python，有的初学者甚至认为人工智能和 Python 是划等号的，随着人工智能概念的火热几乎掀起了一股全民学 Python 的热潮。那么，作为一种计算机程序语言，Python 到底有何魅力，如此受到人工智能的喜爱。总结下来，主要就是两点：（1）丰富的类库支持Python 从面世以来逐渐发展出了一个大型、活跃的科学计算及数据分析社区，成为数据科学、机器学习和学术 / 工业界通用软件开发等领域的

数据挖掘通常需要结构化数据才能建模，而不是近些年来热闹的非结构化数据，预测建模仍然是结构化数据上的运算！所谓结构化数据，是指表现为二维形式的数据，一般特点是：数据以行（也称样本）为单位，一行数据表示一个实体的信息，每一行数据的属性（也称字段或列）是相同的。结构化数据可以来自于数据库，也可以来自于文本文件或 Excel。例如预测 titanic 幸存者数据见下图，就是一个结构化数据，数据的每一行表示一个乘客样本，每一列的属性都是相同的例如”Age”列都表示乘客的年龄，这样的数据是可以拿来建模的。

数据挖掘其实是个“古老”的技术，已经有几十年历史了，近年来红火的人工智能又让这个古老技术有了更多关注。那么，到底什么是数据挖掘呢？它又能做什么事呢？傍晚小街路面上沁出微雨后的湿润，和煦的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，心里期待着享受这个好瓜。由路面微湿、微风、晚霞得出明天是个好天气。根蒂蜷缩、敲声浊响、色泽青绿推断出这是个好瓜，显然，我们是根据以往的经验来对未来或未知的事物做出预测。人可以根据经验对未来进行预测，那

各行各业都对数据挖掘表现出极大兴趣，也纷纷展开了应用尝试，但成功案例并不多，这是为什么呢？1. 数据质量差玩数据就像挖金矿。如果含金量高，那么挖掘难度就小，出金率就高，如果含金量低，那么就会难度大效果差。数据质量问题通常表现在三个方面。（1）数据量不足要教一个牙牙学语的小朋友什么是苹果，只需要指着苹果说“苹果”（可能需要重复这个过程几次）就行了，然后孩子就能识别各种颜色和形状的苹果了，简直是天才！然而，机器还没达到这一步，大部分机器学习算法需要大量数据才能正常工作。即使是最简单的问题，很

【摘要】你是否也在苦苦找寻一个处理大量数据特别迅速的报表工具？你是否还在为成千上万数据的复杂计算感到头晕？润乾报表的多维分析功能漫游为您提供有效的解决方案：润乾报表多维分析功能漫游!润乾报表多维分析功能漫游是不是还在为成千上万的数据处理不完而苦恼？是不是一想到要处理这些数据就头大？今天又要为整理这些枯燥的数据加班怎么办？——不要担心！不要担心！润乾来拯救你！DQL分组分析的神秘力量会协助你顺利完成数据的操作与分析，加班？不存在的！隔壁组的老王和老李都羡慕哭了...

在《润乾报表多维分析功能漫游》一文中我们已经见识了润乾报表分析控件的妙处：可视化的拖拽模式，灵活的计算方式，脱离敲打复杂多变的查询语句，只需要动动鼠标就可以获取所需要的数据。除了多维分析外，润乾报表还有dashboard分析界面那就是仪表盘，简称DBD，即大屏和分析控件的结合。 DBD可以通过图表、图形等视觉元素，将多个来源的数据中所蕴含的信息的趋势、异常和模式展现出来。接下来让我们看看当大屏与分析控件结合...

  SQL is database-based. That means files need to be first loaded into the database before we can process them with the popular query language. The data loading is not always convenient. So tools that can directly execute SQL on files were designed to avoi

  In data analysis, it is inevitable to encounter large data files that cannot be loaded in memory. How to query and calculate large files? This paper analyzes and compares the advantages and disadvantages of several common methods, esProc SPL is the most

SPL 实现自动建模和预测.pdf