2017年02月_happen_chen

原创 PyHusky接口功能及实例介绍

这里假设已经在集群上成功部署了Husky并且已为PyHusky编译成功所需的后端运用程序Master和Daemon。假如情况不是这样，可以参考PyHusky快速开始。#首先启动Master：./Master conf/myhusky.conf #在另一个窗口，if配置文件myhusky.conf指向单机环境，则如下启动单机Daemon：./Daemon conf/myhusky.conf

2017-02-23 11:56:20 22928 3

原创 Husky简介及如何利用PyHusky进行数据分析计划

介绍Husky项目旨在建立一个更具有表达能力和更高效的分布式数据分析系统。高效: 同等硬件资源下具有更优秀的性能Husky设计并实现了一个高度优化的执行引擎，以求在有限计算资源之上取得更好的性能。Husky的计算模型支持快速并高效地实现各类算法。通用: 可于统一的平台上开发各类应用Husky支持广泛的应用，其中包括MapReduce的ETL，

2017-02-23 09:40:54 15433

翻译 Husky中文文档-PyHusky 架构

PyHusky Architecture本节介绍husky的架构，其中包括前端和后端。PyHusky 前端在PyHusky前端，几乎所有的运算符如map，flat_map和reduce 等都属于DAG的节点，定义了对PyHuskyList中objects的转换。例如， b = a.map(func) 将从PyHuskyList a 返回一个新的PyHuskyList b

2017-02-22 13:29:50 17413 2

翻译 Husky中文文档-PyHusky 运算符

Pyhusky OperatorsPyHusky支持三种运算符： Load, Transformation, 和 Action.通畅情况下，一个PyHusky程序首先使用Load运算符.PyHusky 采用lazy evaluation技术, 所有 Loads 和 Transformations 的运算将会被推迟，以避免不必要的计算和提高性能。 Action 操作才会真正触

2017-02-22 13:16:24 15405

翻译 Husky中文文档-部署

部署依赖Husky依赖以下软件包：CMakeZeroMQ (libzmq and cppzmq)Boost一种C++编译器(clang/gcc/icc/MSVC)TCMallocPSSH部分可选择的依赖：Hadooplibhdfs3HBaseKafkaMongoDBHusky已经实现了与HDFS，MongoDB，HBase，Kafka的对接，并在添加

2017-02-22 13:04:02 17648 1

翻译 PyHusky快速开始

快速开始构建本节假设Husky已经被成功部署。若Husky还未被部署于集群之上，请参照Husky中文文档-部署.编译Daemon后端应用程序.PyHusky需要编译Maser和Daemon。在构建目录，使用 make Master 编译Master 和 make Daemon 编译Daemon。需确保构建目录已经被cmake正确创建。启动

2017-02-22 12:26:27 16643 3

陈海鹏的博客