kdb+并行计算(1)

通俗地讲,kdb+/q并行计算是把比较大的计算任务拆分成许多小任务,让这些小计算任务同时跑,这样就可以在较短的时间内完成整个计算任务。

让小计算任务同时跑的方法主要有三种:
第一种,这些小任务同时跑在同一个q中,
第二种,这些小任务同时跑在同一台电脑上的多个q中,
第三种,这些小任务同时跑在多台电脑上的多个q中。

这里先聊第一种情况(以后会聊其它情况):通过一个非常简单例子,聊聊如何在同一个q中同时跑多个小任务。

这个简单例子是:分别计算1、2、3的平方。

我们可以把这个“大”的计算任务拆分为3个“小”任务,即
(1)计算1的平方,
(2)计算2的平方,
(3)计算3的平方。

接下来有两种做法,一种是串行计算:首先计算1的平方,然后计算2的平方,最后计算3的平方;另一种是并行计算:同时计算1、2、3的平方。

在q中并行计算上述3个小任务的步骤为:

操作步骤
1
第一步,启动q,使它支持并行计算
这里假设操作系统为Windows,q为32位版本,q安装于d:\kdb\q\。在Windows“命令提示符”窗口中运行:
set QHOME=d:\kdb\q
d:\kdb\q\w32\q -s 3
这样就启动了q,这个q支持同时跑3个小任务。

2
第二步,分发计算任务,返回结果
在q控制台提示符“q)”后面运行:
{xx} peach 1 2 3
相当于同时运行{x
x}[1]、{xx}[2]、{xx}[3],最后返回结果(11;22;33),得到1 4 9。
是的,这就是并行计算!不要被“并行计算”所吓倒图片。
(注:如果运行{x
x} each 1 2 3就是串行计算)

上面这种并行计算叫多线程并行计算,kdb+多线程并行计算的相关概念(如主线程、子线程)以及一些注意事项等,可以参考《kdb+中文教程》第九章,或 https://code.kx.com。另外,kdb+ v4.0版本,即使q启动时不加参数-s N,许多函数默认进行多线程计算,详见https://code.kx.com/q/kb/mt-primitives。

说明:本文经授权转载自微信公众号kdbcnbook。
kdbcn

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值