文档
文章平均质量分 64
happen_chen
这个作者很懒,什么都没留下…
展开
-
Husky中文文档-PyHusky 运算符
Pyhusky OperatorsPyHusky支持三种运算符: Load, Transformation, 和 Action.通畅情况下,一个PyHusky程序首先使用Load运算符.PyHusky 采用lazy evaluation技术, 所有 Loads 和 Transformations 的运算将会被推迟,以避免不必要的计算和提高性能。 Action 操作才会真正触翻译 2017-02-22 13:16:24 · 15405 阅读 · 0 评论 -
Husky中文文档-C++ Husky 例子
Husky团队已经使用Husky's C++ API开发了许多分布式的大数据应用,包括基本的MapReduce应用,分布式机器学习和图计算。未来Husky团队将会推出更多应用。 下面给出了Husky目前可用的应用列表,它们放在examples/目录下:als.cppbasic-pca.cppbm25.cppdbscan.cppk-bfs.cppkmeans.cpplinear_regres翻译 2017-05-31 20:04:59 · 5305 阅读 · 0 评论 -
Husky中文文档-C++ Husky Broadcast 和 Request 指南
Husky提供了broadcast/get_response APIs,用于广播变量给集群中所有的worker。在某些情况下,广播变量比使用send_message更加高效。Husky 还提供了request/list_reply/get_response APIs来向特定的对象发送获取某些变量值的请求。broadcast/get_response以下例子使用broadcast A翻译 2017-05-31 20:03:57 · 4029 阅读 · 0 评论 -
Husky中文文档-C++ Husky Combiner 指南
CombinerCombiner 基础Husky中的combiner在消息发送出去之前进行聚合,从而降低消息量。当使用combiner时,来自同一台机器的拥有相同的key的所有信息将被聚合成一条消息。不使用combiner的情况下发消息:Husky::send_message(1, w, w_list); // (Msg, Key, Obj_List)翻译 2017-05-31 20:02:42 · 4311 阅读 · 0 评论 -
Husky中文文档-C++ Husky 基础
纲要一个c++ husky程序的框架如下:void job() { // work ...}int main(int argc, char ** argv) { Husky::run_job(job, argv[1]); return 0;}我们在job函数中实现程序逻辑。首先,我们需要在程序的开头创建一个husky worker.翻译 2017-05-31 20:01:36 · 5664 阅读 · 0 评论 -
Husky中文文档-C++ Husky Aggregator 指南
Aggregator在list_executes过程中聚合数值。一个aggregator就像是整个集群中的一个全局变量。使用介绍头文件: #include "lib/dcaggregator.hpp"创建一个aggregator: Husky::Aggregator agg(InitValue, [](ValueType & old, const Val翻译 2017-05-31 19:59:35 · 5237 阅读 · 1 评论 -
PyHusky快速开始
快速开始构建本节假设Husky已经被成功部署。若Husky还未被部署于集群之上,请参照Husky中文文档-部署.编译Daemon后端应用程序.PyHusky需要编译Maser和Daemon。在构建目录,使用 make Master 编译Master 和 make Daemon 编译Daemon。需确保构建目录已经被cmake正确创建。启动翻译 2017-02-22 12:26:27 · 16643 阅读 · 3 评论 -
Husky中文文档-部署
部署依赖Husky依赖以下软件包:CMakeZeroMQ (libzmq and cppzmq)Boost一种C++编译器(clang/gcc/icc/MSVC)TCMallocPSSH部分可选择的依赖:Hadooplibhdfs3HBaseKafkaMongoDBHusky已经实现了与HDFS,MongoDB,HBase,Kafka的对接,并在添加翻译 2017-02-22 13:04:02 · 17647 阅读 · 1 评论 -
Husky中文文档-PyHusky 架构
PyHusky Architecture本节介绍husky的架构,其中包括前端和后端。PyHusky 前端在PyHusky前端,几乎所有的运算符如map,flat_map和reduce 等都属于DAG的节点,定义了对PyHuskyList中objects的转换。例如, b = a.map(func) 将从PyHuskyList a 返回一个新的PyHuskyList b翻译 2017-02-22 13:29:50 · 17413 阅读 · 2 评论 -
Husky分布式系统使用向导
本向导是为了更加方便的使用文档,加强对Husky的总体了解,达到快速熟悉并利用其来进行各类分布式计算的目的。初衷Husky项目旨在建立一个更具有表达能力和更高效的分布式数据分析系统,为世界提供一个更方便高效的大规模运算模式。高效: 同等硬件资源下具有更优秀的性能Husky设计并实现了一个高度优化的执行引擎,以求在有限计算资源之上取得更好的性能。Husky的计原创 2017-06-07 13:30:20 · 1310 阅读 · 0 评论