大数据
文章平均质量分 81
Alice_656
这个作者很懒,什么都没留下…
展开
-
模拟测试数据的生成方法
阅读原文链接: http://c.raqsoft.com.cn/article/1542086018243?r=alice应用系统或软件产品一般都需要进行不同阶段的验证工作,包括原型功能论证、功能测试、性能测试等,这些测试、论证场景都可能涉及到测试数据的准备。测试数据有时可以直接复用历史数据,但很多情况下,基于历史数据建立的测试数据可能会出现内容缺失不全、数据量级不够、数据涉密不能导出、数据已...转载 2018-11-21 16:32:29 · 2243 阅读 · 0 评论 -
数据脱敏的处理方法及查询
原文链接:http://c.raqsoft.com.cn/article/1542086931552?r=alice1)、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一...转载 2018-11-21 16:48:26 · 8227 阅读 · 0 评论 -
轻量级内存计算引擎
原文链接:http://c.raqsoft.com.cn/article/1537242080657?r=alice内存计算指数据事先存储于内存,各步骤中间结果不落硬盘的计算方式,适合性能要求较高,并发较大的情况。 HANA、TimesTen等内存数据库可实现内存计算,但这类产品价格昂贵结构复杂实施困难,总体拥有成本较高。本文介绍的集算器同样可实现内存计算,而且结构简单实施方便,是一种...转载 2018-11-21 17:07:08 · 295 阅读 · 0 评论 -
10 行代码解决漏斗转换计算之性能优化
可阅读原文:http://c.raqsoft.com.cn/article/1539156910581?r=alice大数据分析的性能优化,说道底,就优化一个事情:针对确定的一个计算任务(数据确定,结果确定),以最经济的方案得到结果。这个最经济的方案主要考量三个成本:时间成本、硬件成本、软件成本。时间成本:根据计算任务的特点,能容忍的最长时间各不相同。那些 T+0 的计算任务,实时性要...转载 2018-11-23 16:23:20 · 268 阅读 · 0 评论 -
玩转MongoDB数据库计算
原文链接:http://c.raqsoft.com.cn/article/1540877315505?r=aliceMongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大,其语法有点类似于...转载 2018-11-23 14:45:29 · 928 阅读 · 0 评论 -
SQL 难点解决之集合及行号
可直接阅读原文:http://c.raqsoft.com.cn/article/1542508403539?r=alice1、 和集示例 1:求重叠时间段的总天数MySQL8:with recursive t(start,end) as (select date'2010-01-07',date'2010-01-9'union all select date'2010-01-...转载 2018-11-23 16:06:03 · 161 阅读 · 0 评论 -
数据分析之37 个场景使用到集算器
可阅读原文:http://c.raqsoft.com.cn/article/1534732238335?r=alice慢1、清单式大报表难以及时呈现,采用数据库分页方式翻页效率很差集算器将计算和呈现做成两个异步线程,取数线程发出 SQL 将数据缓存到本地,然后交给呈现线程快速展现报表 取数线程只涉及一个事务不会出现数据不一致,保证数据准确性2、查询报表从数据库中取数量大,JDBC ...转载 2018-11-29 18:46:54 · 212 阅读 · 0 评论 -
10 行代码集算器实现写诗机器人
可阅读原文:http://c.raqsoft.com.cn/article/1536756719594?r=alice集算器不仅有大数据计算,还有诗和远方。最近看到不少写诗机器人的新闻,于是尝试用集算器简单地实现一个。这个实现真的很简单,简单到只有10几行代码,请看实现步骤: 1下载字典和诗词从网上找一个用于分词的字典文件,里面记录着每个中文词汇的词性。我从GitHub上找了一个,...转载 2018-11-27 11:55:51 · 385 阅读 · 0 评论