分布式
肥宅_Sean
在UCB,Stanford各做过一段时间的RA。去牛津访学过一段时间。
现在在某家头部量化当研究员。
个人站: https://seanquant.github.io/
展开
-
[Dask使用实例]Dask简单计算实例(map, submit)
Dask简单计算实例from dask.distributed import Clientif __name__ == '__main__': client = Client() a = client.map(lambda x: x**2, range(10)) b = client.map(lambda x: x+1, a) c = client.map...原创 2018-02-26 12:11:31 · 3737 阅读 · 0 评论 -
【干货】Dask快速搭建分布式集群(大数据0基础可以理解,并使用!)
非常开心,解决了很久都没有解决的问题使用的语言: Python3.5 分布式机器: windows7注意到,其实,通过这工具搭建分布式不需要管使用的电脑是什么系统。分布式使用流程Created with Raphaël 2.1.2使用分布式系统用户用户分布式Scheduler分布式Scheduler分布式worker1分布式worker1分布式worker2分布式...原创 2018-03-10 17:50:54 · 6583 阅读 · 13 评论 -
python Dask库安装方法
关于这个库,我一开始担心这个东西会比较大,所以去搜索了下关于这个东西的安装。结果没有人在上面有任何有关的信息,虽然在Dask官网上有安装的过程,但是却没有写详细的大小~我试了一下,发现库的大小没有多大,而且安装的时候也比较简单~在官网上也是有的,我附上链接 http://dask.pydata.org/en/latest/install.html其实输入下面的命令就可以安装好了~(而...原创 2018-02-24 17:13:36 · 5131 阅读 · 1 评论 -
【分布式】通过Numpy创建Dask.array
【入门教程】代码如下:import numpy as npimport dask.array as dax = np.arange(10)y = da.from_array(x, chunks=(100, ))print(y.mean().compute())输出的结果是: 4.5代码如下:import numpy as npimport dask.arra...原创 2018-03-19 09:45:11 · 1917 阅读 · 0 评论