2017年03月_TIGER_XC

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 FunDA（16）－示范：整合并行运算 - total parallelism solution

在对上两篇讨论中我们介绍了并行运算的两种体现方式：并行构建数据源及并行运算用户自定义函数。我们分别对这两部分进行了示范。本篇我准备示范把这两种情况集成一体的并行运算模式。本次介绍的数据源并行构建方式也与前面描述的有所不同：在前面讨论里我们预知需要从三个独立流来并行构建数据源。但如果我们有一个不知长度的数据流，它的每个元素代表不同的数据流，应该如何处理。我们知道在AQMRPT表里有从1999年到2x

2017-03-31 17:49:18 447

原创 FunDA（15）－示范：任务并行运算 - user task parallel execution

FunDA的并行运算施用范围是在对用户自定义函数的并行运算。也就是说把一个输入流截分成多个输入流并行地输入到一个自定义函数的多个运行实例。这些函数运行实例同时在各自不同的线程里同步运算直至耗尽所有输入。并行运算的具体函数实例数是有fs2-nondeterminism的算法根据CPU内核数、线程池配置和用户指定的最大运算实例数来决定的。我们在这次示范里可以对比一下同样工作内容的并行运算和串形运算效率

2017-03-30 18:09:24 533

原创 FunDA（14）－示范：并行运算，并行数据库读取 - parallel data loading

FunDA的并行数据库读取功能是指在多个线程中同时对多个独立的数据源进行读取。这些独立的数据源可以是在不同服务器上的数据库表，又或者把一个数据库表分成几个独立部分形成的独立数据源。当然，并行读取的最终目的是提高程序的运算效率。在FunDA中具体的实现方式是对多个独立的数据流进行并存读取形成一个统一更长的数据流。我们还是用上次示范所产生的表AQMRPT作为样板数据。在这次示范里我们需要把AQMRPT

2017-03-26 16:36:11 696

原创 FunDA（13）－示范：用户自定义操作函数 - user defined tasks

FunDA是一种函数式的编程工具，它所产生的程序是由许多功能单一的细小函数组合而成，这些函数就是用户自定义操作函数了。我们在前面曾经提过FunDA的运作原理模拟了数据流管道，流元素在管道流动的过程中被使用或者更新。在管道中流动的元素都必须继承FDAROW类型，可以细分成几个大类：1、数据行（data-row）：因为FunDA的数据行必须是强类型的，所以各种case class类型继承了FDAR

2017-03-21 12:34:00 476

原创 FunDA（12）－示范：强类型数据源 - strong typed data sources

FunDA设计的主要目的是解决FRM（Functional Relation Mapping）如Slick这样的批次型操作工具库数据源行间游动操作的缺失问题。FRM产生的结果集就是一种静态集合，缺乏动态更新操作方式。FunDA提出的解决方案是把FRM产生的静态集合转变成动态流（stream）,流内元素代表数据行（data row）,一个完整的数据流代表一连串的数据行。用户可以利用数据流和FunDA

2017-03-01 20:36:47 789

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 FunDA（16）－ 示范：整合并行运算 - total parallelism solution

原创 FunDA（15）－ 示范：任务并行运算 - user task parallel execution

原创 FunDA（14）－ 示范：并行运算，并行数据库读取 - parallel data loading

原创 FunDA（13）－ 示范：用户自定义操作函数 - user defined tasks

原创 FunDA（12）－ 示范：强类型数据源 - strong typed data sources

空空如也

空空如也

原创 FunDA（16）－示范：整合并行运算 - total parallelism solution

原创 FunDA（15）－示范：任务并行运算 - user task parallel execution

原创 FunDA（14）－示范：并行运算，并行数据库读取 - parallel data loading

原创 FunDA（13）－示范：用户自定义操作函数 - user defined tasks

原创 FunDA（12）－示范：强类型数据源 - strong typed data sources