- 博客(5)
- 收藏
- 关注
RSS订阅原创 SDP（13）： Scala.Future - far from completion，绝不能用来做甩手掌柜
在前面几篇关于数据库引擎的讨论里很多的运算函数都返回了scala.Future类型的结果，因为我以为这样就可以很方便的实现了non-blocking效果。无论任何复杂的数据处理操作，只要把它们包在一个Future{...}里扔给系统运算就算完事不理了，马上可以把关注放到编程的其它部分了。在3月17日的深圳scala用户meetup里我做了个关于scala函数式编程的分享，里面我提到现在使用最多...
2018-03-21 11:51:58
352
原创 SDP（12）： MongoDB-Engine - Streaming
在akka-alpakka工具包里也提供了对MongoDB的stream-connector，能针对MongoDB数据库进行streaming操作。这个MongoDB-connector里包含了MongoSource，MongoFlow，MongoSink。我们只使用MongoSource，其它两个我们直接用mapAsyc来创造。下面是MongoSource的定义：object MongoS...
2018-03-16 14:51:31
361
原创 SDP（11）：MongoDB-Engine功能实现
根据上篇关于MongoDB-Engine的功能设计方案，我们将在这篇讨论里进行功能实现和测试。下面是具体的功能实现代码：基本上是直接调用Mongo-scala的对应函数，需要注意的是java类型和scala类型之间的相互转换：object MGOEngine { import MGOContext._ import MGOCommands._ import MGOAdmins._...
2018-03-12 13:49:16
297
原创 SDP（10）：文本式大数据运算环境-MongoDB-Engine功能设计
为了让前面规划的互联网+数据平台能有效对电子商务数据进行管理及实现大数据统计功能，必须在平台上再增加一个MongDB-Engine：数据平台用户通过传入一种Context来指示MongoDB-Engine运算。与前面JDBC-Engine和Cassandra-Engine通过文本式传递指令不同的是：MangoDB没有一套像SQL或CQL这样的文本式编程语言。但MangoDB基本上都是通过B...
2018-03-08 12:33:07
291
原创 SDP（9）：MongoDB-Scala - data access and modeling
MongoDB是一种文件型数据库，对数据格式没有硬性要求，所以可以实现灵活多变的数据存储和读取。MongoDB又是一种分布式数据库，与传统关系数据库不同的是，分布式数据库不支持table-join，所以在设计数据库表结构方面与关系数据库有很大的不同。分布式数据库有一套与传统观念不同的数据模式，在设计库表结构时必须从满足各种数据抽取的需要为主要目的。关系数据库设计要求遵循范式模式（norma...
2018-03-06 12:21:22
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人