2018年12月_chuiao2284

转载玩转Mongo计算

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询...

2018-12-29 11:05:00 127

转载 SQL 难点解决：直观分组

1、对位分组示例 1：按顺序分别列出使用 Chinese、English、French 作为官方语言的国家数量 MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all ...

2018-12-29 10:58:00 75

转载 10 行代码，实现手写数字识别

识别手写的阿拉伯数字，对于人类来说十分简单，但是对于程序来说还是有些复杂的。不过随着机器学习技术的普及，使用10几行代码，实现一个能够识别手写数字的程序，并不是一件难事。这是因为有太多的机器学习模型可以拿来直接用，比如tensorflow、caffe，在python下都有现成的安装包，写一...

2018-12-29 10:52:00 767

转载 SQL 难点解决：序列生成

1、生成连续整数序列 MySQL8: with recursive t(n) as ( select 1 union all select n+1 from t where n<7 ) select * from t; Oracle：select level n from du...

2018-12-29 10:35:00 103

转载 10 行代码解决漏斗转换计算之性能优化

【摘要】庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自然的动作给观赏者造成酷炫的感受，是一个副产品。数据处理的描述计算、性能优化也是类似的事情。成为数据界的庖丁同样需要两个必要条件：1、...

2018-12-29 10:19:00 138

转载趣味集算：wordcount

WordCount 差不多是最常用的分布式系统练习程序了，Hadoop 就经常用这个当例子。我们来看用集算器怎么做 wordcount。先从单线程开始。例如，D:\files\novel 目录中，有一些小说文档，现在，需要统计这些小说中哪些单词最为常用：在集算器中，如果不嫌写得长，只...

2018-12-28 22:00:00 83

转载趣味集算：八皇后问题

有关国际象棋的问题很多，八皇后问题就是其中相当著名的一个。在 8×8 的国际象棋棋盘中，放入 8 个皇后，使它们不互相攻击，共有多少种方法呢？国际象棋中皇后的威力巨大，攻击范围是同一行、同一列以及同一斜行，因此，符合条件的 8 个皇后必须都不在同一行、同一列或者同一斜行上。由于每一行中...

2018-12-28 21:34:00 83

转载基于文件系统实现可追加的数据集市

一问题背景绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。究其原因，往往发现针对历史数据查询的报表在其中占了很大比重。进一步分析会发现，这类报表通...

2018-12-13 14:19:00 83

转载学会这些“套路”，excel 合并汇总都不是事

1.问题背景在日常工作中我们经常遇到具有相同表头的 Excel 文件，需要将它们合并到同一个工作表中再进行分析。当文件比较多时，手工合并表格通常是件很麻烦的事情，而如果数据量很大，用 Excel 自带的 VBA 来处理也会经常卡死。今天我就来分享一个专业的外部数据工具——集算器，掌握了集...

2018-12-13 13:57:00 114

转载轻量级内存计算引擎

内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。 HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎。...

2018-12-13 12:03:00 111

转载为什么会有这么多中间表？

中间表的由来中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么，这些中间表是如何出现的？为什么中间表会越来越多？中间表会给项目组带来什么样的困扰，如何解决这些困扰？这里我们就尝试探讨一下这个问题。中间表出现的典型场景主要有三个：一步算不出来。数据库中的...

2018-12-13 11:21:00 92

转载用简单程序协助 MySQL 实现窗口函数

窗口函数是 SQL2003 标准才开始有的一系列 SQL 函数，用于应付一些复杂运算是比较方便。但是普遍使用的 MySQL 数据库对窗口函数支持得却很不好，直到最近的版本才开始有部分支持，这当然就让 MySQL 程序员很郁闷了。实际操作中，我们可以在 MySQL 里用 SQL 拼出窗口函数...

2018-12-13 11:09:00 84

转载如何才能导出和打印 Echarts 图形？

【摘要】 Echarts，江湖人称一个纯 Javascript 的图表库，图形种类星罗棋布且个个颜值爆表，可以轻松驾驭 PC 和移动设备，与绝大部分浏览器都可称兄道弟，而且已然众多拥趸，还有不少报表对它采取了嫁接技术。<br>这么棒的图标库如何能在报表工具里导出和打印呢？Echar...

2018-12-13 10:52:00 98

转载 Java 嵌入 SPL 轻松实现数据分组

问题介绍要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda（stream）代码简洁了许多，分组后往往还要跟...

2018-12-06 16:00:00 75

chuiao2284的博客