- 博客(58)
- 收藏
- 关注
RSS订阅原创 我们怎样把 X 银行用户画像客群交集计算提速 200+ 倍
问题描述X银行用户画像应用中，需要完成客群交集计算。客群数量多达数千个，每个客群包含的客户数量不等，从几十万到上亿都有。要计算出任意N（一般是2-10）个客群共同的客户。例如：滴滴出行客群有几百万客户，手机银行客群有几千万客户，需要求出滴滴出行和手机银行共同的客户数量。对客群交集计算的结果，还要进行维度筛选。比如：滴滴出行和手机银行共同的客户，要对性别、年龄段和地域维度进行筛选，最终计算出满足各个维度条件的客户数量。为了从时间维度做分析，每次要计算一年的结果，因此要保存十二个月的历史数据，每个月
2020-11-26 21:43:57
393
原创 报表&BI常见问问题科普汇总贴---报表工具敏捷BI常见问题
1. 基础报表什么是报表工具？和 EXCEL 有什么区别？传说中的中国复杂报表都长什么样？有什么特点？报表中的图形是怎么做出来的？如何在其中实现地图？报表工具有哪些打印技术？报表工具能实现怎么的导出效果？报表工具怎样适应移动端？报表工具能用来做 DashBoard 和大屏吗？WEB 版的报表工具有没有意义？自助报表是什么东西？能不能利用自助报表把报表事务推给业务人员？报表的 SQL 注入风险是什么意思？如何防范？报表工具都有哪些应用部署方式？2. 数据准备
2020-10-27 14:12:33
396
原创 在文件上使用 SQL 查询的示例------怎么样用sql对文本文件进行数据查询分析
在数据分析业务中经常要处理数据文件。我们知道，对于数据库中的数据，使用SQL来查询是非常方便快捷的，所以很容易想到把文件数据先导入到数据库再用SQL来查询。但是文件数据导入数据库本身也是很繁琐的工作，那么有没有直接对数据文件使用SQL查询的办法呢？本文将介绍这样的办法，列举出用 SQL 查询文件数据的各种情况，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中提供了完善的用 SQL 查询文件数据的方法。本文用文本文件举例，但同时也适用于Excel文件。1.
2020-10-27 14:10:07
1214
原创 报表工具对比选型系列——图形------报表工具选型时图形统计图应该怎么去作对比-------常见报表工具对比之统计图能力对比
”一图胜千言”，图形是报表展示中不可或缺的内容，没有图形的报表是没有灵魂的，所以大家在做报表工具选型考察的时候，都会很关注图形。关注点基本有如下几条：1. 自有图形的种类自有图形通常是指工具内置的图形，不需要再扩展和引入。自有图形是报表的基本功能，它决定了报表工具的下限。2. 对第三方图形的支持程度，以及特殊图形的绘制能力当自有图形满足不了需求时就需要扩展，可以对接第三方，也可以自定义。虽然大部分需求可能使用自有图形就能满足，但遇到特殊需求时工具的扩展能力十分重要，这决定了报表工具的上限
2020-10-20 11:46:03
761
原创 主流开源 BI 产品对比---------2020开源BI工具都有哪些，哪个好用
现在市场上开源 BI 产品比较多，各个产品的侧重点不同，有的以报表为主、有的以可视化为主、有的以查询分析为主。这里我们选取了一些主流的开源 BI 产品，从产品功能、可视化能力、数据源支持以及使用文档等方面进行对比，希望对你有帮助。Superset由Airbnb贡献的轻量级BI产品，目前在GitHub上有3万多颗星，其受欢迎程度可见一斑。Superset提供了Dashboard和多维分析两大类功能，后者可以将制作的结果发布到Dashboard上也可以单独使用。数据源方面，Superset支持C
2020-10-19 09:58:52
14336
1
原创 报表工具对比评论汇总，选型看这一篇就够了---------报表工具对比软文最全的收集汇总帖子
在 BI 和报表系统建设时经常要选择适合的报表工具，网上一搜，报表对比文章铺天盖地，文章质量参差不齐，中肯的、诋毁的、夸大的不一而足，给选型者带来不小的困扰。该看哪些？哪些说的比较公正具备参考价值？哪些失真严重不具参考意义？这里我们尽可能详细地收集了全网报表工具对比的文章，根据参考价值进行标注、分类并加以点评。全网最全报表工具对比文章汇总，报表选型看这一篇就够了！1. 润乾深度对比系列润乾近期编写了一系列深度对比文章（还在增加中）。虽然厂家写的材料免不了要说自家的好话，但这些材料仍然可以说是相当
2020-10-12 14:56:19
1648
原创 主流报表工具对比选型系列—----------多样性数据源支持度
本次仍然评测这几款主流的报表工具：润乾报表、帆软报表、Smartbi、永洪 BI、亿信。之前在多源关联分片报表中验证了各个报表工具的多数据源关联功能，这些产品都能支持多数据源，但对不同类型数据源的支持程度并不一样。目前常用的关系型数据库基本上都提供 jdbc 接口，所有报表工具都支持，这里就不做详细说明，下面主要看下几种数据源的支持情况：1、 文件数据源，如 Excel、txt、csv 等。2、 webservices 接口数据源，如服务返回的 json 或 XML 格式数据3、 非关系型数据库
2020-10-12 14:38:43
260
原创 从两家主流报表工具的报jia看报表行业的报jia水深-----常用报表工具对比---主流报表对比
目前市场上最主流的报表工具莫过于润乾和帆软了，这俩工具也总被拿来做选型对比，很多用户在对比完后，发现功能上差异并不大，但是jiage上居然能差出好几倍，甚至十几倍，弄的大家很疑惑，这是怎么了 为啥会出现这样的状况，难道其中有啥猫腻？是便宜的功能被阉割了？没有啊，测试都正常啊，还是贵的有啥隐藏功能没有发掘出来，也没有啊，没发现什么新功能啊那是什么造成了如此大的jiage悬殊？我们正好从一位友好的用户手里拿到了最新的报价单，就让我们用这两家主流报表的报价单来分析一下报表工具的价格吧报价单先把两家
2020-09-21 19:33:51
573
1
原创 5款主流报表工具对比选型系列用例—过程计算-----中国式复杂报表真实做表测试对比-----专业评测结果----行业专家团队意见
我们知道，报表呈现的数据常常并不是直接从数据库（源）取出来的数据，而还要进行一些运算，报表工具通常也会提供一定的运算能力（如过滤、分组等）以应对这种需求。但是，情况复杂时，报表数据集上的运算可能要多个步骤才能完成，这时候就要考查报表工具对过程式计算的支持程度了。用例说明统计要求列出指定时段的大客户。所谓大客户，定义为销售额占前一半的客户，也就是把客户销售额从大到小排序后，前面若干个客户的合计销售额构成总销售的一半，这些客户被称为大客户。报表式样数据结构[销售记录表]特点分
2020-09-10 17:01:55
737
原创 报表中的图形是怎么做出来的？如何在其中实现地图？
我们经常看到报表中会有一些统计图形，甚至有些页面全是图形，这些图形和报表是个什么关系？也是报表工具做出来的吗？其实报表从来都不只是表格，图形一直以来都是报表中的一部分，很多数据通过图形来展示，会比表格更让人一目了然的看懂其中的含义，比如上面的饼图，配合左面的表格中的数据，就能更清晰直观形象的表达各区销售额的比重了。这些图形可以用报表工具来做，也可以用独立的图形包来做，还可以二者结合用报表中集成的的图形包来做，我们来简单说下这三种方式的优缺点。1 用报表工具做优点：简单方便，报表工具擅长处
2020-09-03 09:40:45
166
原创 报表工具对比选型系列用例——排名及跨行组统计----5款主流报表工具复杂报表制表能力对比测评-----中国式复杂报表制作能力对比
原文地址：http://c.raqsoft.com.cn/article/1597718082881?r=CGQ继《多源分片报表》后，我们继续考察这些报表工具对复杂报表的支持程度。排名与跨行组运算也是典型的中国复杂报表形式，这类报表的源数据集通常比较简单，但在表格的单元格之间会有较随意的计算要求。在制作报表时，单元格还没有扩展出来，因而不能像 Excel 那样直接引用单元格名字，报表工具需要提供某种机制允许在表达式中引用还没有产生的单元格。用例说明报表式样数据结构[学生成绩.
2020-09-02 16:46:36
493
原创 报表工具对比选型系列——打印与导出
打印和导出是报表工具的基本功能，国内项目中的报表在绝大多数情况都有复杂的打印和导出需求，有时候这一项功能点的缺失会卡住项目无法进展，因此这也是报表工具选型的是重要考察点。我们将对润乾、帆软、Smartbi、永洪、亿信几款将报表能力作为宣传重点的产品进行评测并对比，看看其打印和导出的功能如何。第一部分 打印技术1．打印支持方式对比报表都可以呈现在浏览器中，所以也都可以直接使用浏览器的打印功能，这种方式的优势是很简单，不需要做专门处理。但浏览器打印的问题也很多，主要是难以精确控制打印效果，比如不能精
2020-08-27 10:40:16
465
原创 报表中的图形是怎么做出来的？如何在其中实现地图？
我们经常看到报表中会有一些统计图形，甚至有些页面全是图形，这些图形和报表是个什么关系？也是报表工具做出来的吗？其实报表从来都不只是表格，图形一直以来都是报表中的一部分，很多数据通过图形来展示，会比表格更让人一目了然的看懂其中的含义，比如上面的饼图，配合左面的表格中的数据，就能更清晰直观形象的表达各区销售额的比重了。这些图形可以用报表工具来做，也可以用独立的图形包来做，还可以二者结合用报表中集成的的图形包来做，我们来简单说下这三种方式的优缺点。1 用报表工具做优点：简单方便，报表工具擅长处
2020-08-27 10:38:49
186
原创 SQL on file 工具-----在文件中的数据如果不放到数据库，该怎么使用sql对其进行查询分析
SQL on file 工具原文地址：http://c.raqsoft.com.cn/article/1591776634254SQL 是常用的数据查询语言，但只能在数据库中使用，常见的的文件数据就要先入库后才能使用 SQL，这很麻烦。有一类工具能够直接针对文件执行 SQL，这会带来很大的方便性，但这些工具在使用环境、易用性、SQL 能力、文件格式方面差异巨大。本文认真分析各类工具，最后找到适合数据分析师的 SQL on file 工具 esProc，点击SQL on file 工具了解详情。.
2020-08-27 09:51:03
299
原创 主流报表工具对比选型系列 - 报表性能对比一：页面渲染性能--------润乾-帆软-smartbi-报表工具性能到底哪家强？
原文地址：http://c.raqsoft.com.cn/article/1597719560005?r=CGQ页面渲染是指报表在计算完成后，生成 html 页面时加上各种格式外观属性的过程。如果在报表中添加了大量的呈现效果（隔行异色、背景图、条件警戒色等）时，页面渲染的速度就会受到影响变慢，但往往这些呈现效果又是必须的，所以这个时候就得看报表的性能了。这里对润乾、帆软和 smartbi 三款报表工具进行测试，业内还有永洪和亿信也宣称对复杂报表的支持较好，但经过基本模型测试就会发现这两款产品与.
2020-08-18 21:52:49
2240
原创 2020主流报表工具对比选型深度测评系列——中国式复杂报表之多源分片报表
原文地址：http://c.raqsoft.com.cn/article/1597195841742?r=CGQ润乾报表、帆软报表、Smartbi、永洪 BI、亿信 BI 这几款国内产品都把中国复杂报表作为宣传点。我们以常见的多源分片为报表为用例，来对比评测这些产品的处理能力（由于时间和知识限制，个别很偏的功能点可能会有遗漏）。内容比较长，如果不想看细节，可以直接跳到最后看结论。用例说明报表式样数据结构[订单表]主数据存储在订单表中，该表通过雇员 ID 和销售...
2020-08-12 10:44:04
2038
原创 Python 如何处理大文件----Python 如何处理大数据----Python 如何分析大数据文件
Python 如何处理大文件Python作为一门程序设计语言，在易读、易维护方面有独特优势，越来越多的人使用 Python 进行数据分析和处理，而 Pandas 正是为了解决数据分析任务而创建的，其包含大量能便捷处理数据的函数和方法，使得数据处理变得容易，它也是使 Python 成为强大而高效的数据分析环境的重要因素之一。但是 Pandas 是个内存的类库，用于处理小数据（能放入内存）没问题，对于大数据（内存放不下）就没有那么方便了。而我们平时工作中却能经常碰到这种较大的文件（从数据库或网站下.
2020-07-02 17:53:37
3065
原创 我们怎样把保险公司团保明细单查询提速 2000倍+------保险公司报表系统提速
原文地址：http://c.raqsoft.com.cn/article/1593677551526?r=CGQ问题描述C保险公司业务系统中，团体保险明细查询速度很慢。查询时输入保单号，要返回团体保单包含的所有被保险人的信息。较小的保单，包含1万个被保险人，返回页面需要等待7.5分钟。较大的保单，包含100万被保险人，返回页面等待了4个小时没有出来。团体保险明细比较大，分两个数据库保存。每个团体保单的数据，在两个库中都有可能出现。数据库是Oracle，SQL语句共163行，如下图：.
2020-07-02 17:49:18
302
原创 传说中的中国复杂报表都长什么样？有什么特点？--------什么是中国式复杂报表--------BI能做中国式复杂报表吗
原文地址：http://c.raqsoft.com.cn/article/1593480444464?r=CGQ最开始中国式报表这个术语是针对国外的报表工具来说的，当时国外的报表工具只能做一些格式很规整的报表，到了中国以后发现有很多报表做不出来，或者做起来极不方便，还需要大量的人工编程。这些报表成了国外报表工具的恶梦，于是把复杂难做的报表称为“中国式”的。这些很难做的中国式复杂报表后来被我们的国产厂商（最早是润乾 ) 解决了，让国产报表工具在这个领域内战胜了国外报表工具，成为了报表...
2020-07-01 18:01:53
869
原创 秒级展现的百万级大清单报表怎么做-------大数据量报表性能问题解决-------海量数据报表的快速展现打印导出
秒级展现的百万级大清单报表怎么做原文地址：http://c.raqsoft.com.cn/article/1570700820741?r=CGQ数据查询业务中，有时会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛，因此会从数据库中查出几百上千万甚至过亿行的记录，常见的包括银行流水记录，物流明细等。呈现时如果等着把这些记录全部检索出来再生成报表，那会需要很长时间，用户体验自然会非常恶劣。而且，报表一般采用内存运算机制，大多数情况下内存里也装不下这么多数据。所以，我们一般都会使用..
2020-07-01 17:58:42
780
原创 十大报表工具 BI 产品深度点评-----BI报表行业专家干货分享----一文读懂报表与BI的行业现状----最新常用BI报表工具对比科普帖
目前国内市场上的报表 BI 工具琳琅满目，看起来也各有特点，这给选型工作带来了一些困扰，本文就一些较活跃的报表 BI 产品进行点评，对于不太熟悉这些产品和技术的同学，可作为参考资料。这里选了十个产品，分作四类：国内报表类，国内 BI 类，国外 BI 类，国外开源报表类。每类两三种产品，在分类内大体会按面市时间为序来点评。需要强调的是，因为篇幅有限，不可能把市场上所有产品都选入，这并不意味着其它产品不好，看到结论部分时就会理解。这么分类是有意义的，同类产品大体具有相似的特征。其中，国内产品...
2020-06-29 11:06:29
1145
原创 报表的 SQL 注入风险是什么意思？如何防范？
原文地址：http://c.raqsoft.com.cn/article/1591686285242?r=CGQ啥是 SQL 注入风险？数据库要执行 SQL 访问数据，数据库是个执行机构，它只会检查传来的 SQL 是不是合乎语法，而并不会关心这个语句是否会造成伤害（数据泄露或破坏）。正因为只要符合语法规则就会执行的机制，导致 SQL 有了注入的风险。SQL 本身就是个字符串，而且一般没有加密，字符串可能被黑客劫持修改，这样就可能造成数据库执行了不该执行的动作。SQL 注入的惯...
2020-06-28 11:11:47
327
原创 如何快速搭建一个BI系统---开源BI软件--国产性价比高BI工具
原文地址可下载完整ppt：http://c.raqsoft.com.cn/article/1591932299162?r=CGQ简易 BI 的实现过程.
2020-06-24 11:17:45
1607
原创 如何分析java报表工具的性能问题----报表工具常见性能问题原因
原文地址：http://c.raqsoft.com.cn/article/1567042452806?r=CGQ原文地址有pdf下载和视频讲解报表跑的慢业务抱怨！性能的锅总要自己背！想分析原因不知从何处入手！了解报表运行有几个阶段？每个阶段有哪些影响性能的常见问题？哪些问题可以通过报表工具解决？哪些问题是报表工具解决不了的？学会这些，关于报表性能从小白到精通，不再做背锅侠！...
2020-06-16 09:14:22
147
原创 最新BI报表工具对比选型指标及重点注意事项---BI报表工具选型的那些事
列表在文章最后有下载方式前言报表工具是一个接近 20 年的产物了但是，直到现在，在各种数据信息化的系统中，报表工具的作用，不仅没有褪色，反而是因为信息化需求的增大、数据的增多，以及报表工具本身迭代后越来越方便好用，使得它的使用范围越发的广泛了报表选型也是一个老生常谈的话题了但是，直到现在，依然有很多项目组，很多技术人员并不知道该怎样正确的选一个合适的报表，一个不会让自己在项目后期掉坑里的报表本文全文 9990 字，大概需要 10-20 分钟阅读，旨在把这么多年总结下来的一些选型.
2020-05-11 15:53:11
1974
原创 2020年5种常用报表工具对比分析总结----供项目上需要java web报表工具的同学们参考
在做报表或者BI项目时，往往会选用一些工具实现，目前市场上报表工具或者BI工具种类繁多，如何选择适合自己的工具变的尤为重要，下面从报表设计、数据处理、数据分析、集成调用、支持服务等核心关注点对市场上比较常用的润乾报表、帆软报表、Smartbi、Birt、QlikView（后续简称QV）等工具进行对比，这些工具既涵盖了国内处理复杂报表的商业软件，也包含了国外比较流行的开源产品或商用产品，由于资料有限...
2020-04-14 12:09:00
2700
原创 全国产BI 多维分析解决方案--什么是BI--BI分析软件
全国产商业智能（BI）解决方案原文地址可以查看完整文章并下载pdf：http://c.raqsoft.com.cn/article/1565679531465?r=CGQ...
2020-01-09 11:04:58
386
原创 2020年报表工具报表软件bi工具常见问题汇总报表解决方案
下面是整理的项目上报表工具常见的一些问题和解决方法，点击标题就可以看到具体的解决方案打印与导出报表打印常见打印方式及对比 票据套打 连续多张批量打印 静默打印（不预览） 记录打印位置（存折打印） 记录打印次数 （待补充） Echarts打印报表导出批量导出excel 多个报表导出到一个excel（待补充） 导出excel命名 导出不同版...
2019-12-27 15:41:07
598
原创 SQL 分组条件深入剖析
原文地址：http://c.raqsoft.com.cn/article/1576225048795?r=CGQSQL 分组条件深入剖析导读关键词:SQL分组 条件; SQL HAVING 条件; SQL 子查询 条件问题在 stackoverflow 网站上看到这样一个 SQL 分组条件的需求，需求看似挺简单，但能把 SQL 写正确对于新手来说也不容易，我们拿过来深入剖...
2019-12-18 10:43:44
1662
原创 解决 BIRT 动态数据源的若干示例
原文地址：http://c.raqsoft.com.cn/article/1576544515636?r=CGQ原文地址可以查看更多birt报表的数据源问题示例解决 BIRT 动态数据源的若干示例...
2019-12-18 10:41:13
185
原创 多步骤复杂 SQL 优化思路
原文链接：http://c.raqsoft.com.cn/article/1576562814244?r=CGQ原文链接可以查看更多更详细的sql优化示例问题先看数据：deliver 表是主表，一个客户会发生多次投递行为：deliverItem 表是从表，一个投递行为有多个投递项，delivered 是投递状态（1 表示未完成，2 表示投递完成）：需求是统计每个客户下，...
2019-12-18 10:39:20
1542
1
原创 2019报表工具价格对比
下面是通过各厂商官网，以及一些业内的朋友了解到的，仅供参考便宜没好货？2018 年，润乾报表开始互联网营销后，一颗重磅炸弹在不算大的报表行业中激起了阵阵波澜，报表大*降*jia了！！！降到了润乾的历史最*低*jia，也降出了基本是行业的最*di*jia，良心*jia客户蒙了，这是真的吗，这么多年了，报表一直是好几万一套，买断都是几十万，有些厂商还再不断的通过各...
2019-12-06 16:07:25
6169
5
原创 解决 BIRT 报表特殊布局的若干示例-birt复杂报表
原文地址：http://c.raqsoft.com.cn/article/1573958206309?r=CGQ原文地址更详细，并可以下载对应原文件
2019-11-27 14:53:05
359
原创 数据挖掘基本概念和过程--数据挖掘基础知识入门学习
原文地址：http://c.raqsoft.com.cn/article/1573459755631?r=CGQ原文可下载清晰pdf
2019-11-15 10:12:27
362
原创 敏捷数据计算中间件-轻量数据计算中台
原文地址：http://c.raqsoft.com.cn/article/1573639294979?r=CGQ原文中可以下载对应pdf...
2019-11-15 10:09:45
323
原创 数据挖掘分类模型案例 _titanic 幸存者预测
原文出处：http://c.raqsoft.com.cn/article/1572941582533?r=CGQ数据挖掘分类模型案例 _titanic 幸存者预测
2019-11-06 09:16:29
927
原创 2019最新bi 报表工具软件选型对比指标--报表软件评测重点注意事项
原文地址：http://c.raqsoft.com.cn/article/1571024764129?r=CGQ原地址可以下载更清晰的pdf版...
2019-10-14 15:16:30
1088
原创 协助报表开发之 MongoDB join 交叉汇总 位数比较
其他mongodb计算的文章http://c.raqsoft.com.cn/article/1568626730687?r=CGQ协助 mongodb 计算之数位比较：http://c.raqsoft.com.cn/article/1568597259340?r=CGQ协助 MongoDB 计算之交叉汇总http://c.raqsoft.com.cn/article/1568594...
2019-09-17 16:51:56
228
原创 将 MongoDB 导出成 csv
原文链接：http://c.raqsoft.com.cn/article/1568624571679?r=CGQMongodb 可以存储非结构化数据，尤其擅长存储 json 格式的数据。对于习惯于数据库表结构的用户或需要使用结构化数据的用户来说，往往希望能将非结构化的数据转换成结构化的数据，以方便后面的计算，而要将这些数据导出为标准的结构化数据经常存在一定的困难。针对这种情况，我们可以利...
2019-09-17 16:39:17
810
原创 SPL 实现自动建模和预测--数据挖掘
pdf下载以及原文查看地址：http://c.raqsoft.com.cn/article/1568163387677?r=CGQSPL 实现自动建模和预测
2019-09-17 16:38:00
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人