Husky中文文档-PyHusky 运算符

Pyhusky Operators

PyHusky支持三种运算符： Load, Transformation, 和 Action.

通畅情况下，一个PyHusky程序首先使用Load运算符.

PyHusky 采用lazy evaluation技术, 所有 Loads 和 Transformations 的运算将会被推迟，以避免不必要的计算和提高性能。 Action 操作才会真正触发计算。

因此一个应用程序需确保以 Load 操作开始，并以 Action 结束。

Transformations 分为两类： simple transformations 和 shuffle transformations。Simple transformations不会导致网络传输，但shuffle transformations会.

Loads

以下为PyHusky支持的 Load 操作符。PyHusky应用程序需要包含 env 包以便使用这些运算。

• load(url) ：从HDFS中加载数据，使用LineInputFormat(每行成为PyHuskyList的一个元素)，返回一个PyhuskyList。

• parallelize(list): 将一个Python list划分到不同机器上，返回PyHuskyList。

Transformations

以下为PyHusly支持的 Transformation 操作符。

Simple transformations

• map(func)：对已有的PyHuskylist的每一个元素进行函数操作，并返回一个新的PyHuskyList。

• flat_map(func)：和map 函数类似，但每个原元素可以被映射成零个或多个输出元素（func应该返回一个list而不是一个元素）。

• filter(func)：返回一个经过func筛选后的新的PyHuskyList。

• concat(pyhuskylist)：拼接两个PyHuskyList, 并返回一个新的PyHuskyList。

• map_partition(func)：对于每个PyHuskyList数据分片（一个python列表）的所有元素执行func函数，并返回新的PyHuskyList。

Shuffle transformations

• distinct()：返回一个不含重复元素的PyHuskyList。

• reduce_by_key(func)：对由(k, v)对组成的PyHuskyList按照k分组，对每个分组执行func函数聚集v（如求和）。

• group_by_key()：接收由(k, v)对组成的PyHuskyList，按照k进行分组，返回由(k, [v1...])组成的PyHuskyList

• count_by_key()：接收由(k, v)对组成的PyHuskyList，按照k进行分组，计数每个k有多少个对，返回由(k, num)对组成的PyHuskyList

• difference(other_pyhuskylist)：返回一个不包含other_pyhuskylist元素的新PyHuskyList。

Actions

以下为PyHusly支持的 Action 操作符。

• reduce(func)：按照func聚集函数聚集所有PyHuskyList中的元素，返回一个最终值。

• cache()：缓存所有PyHuskyList中的元素。

• uncache()：取消对PyHuskyList中元素的缓存。

• write_to_hdfs(url)：将PyHuskyList中的全部元素写出到HDFS的url目录里面。

• count()：返回一个PyHuskyList包含的元素个数。

• collect()：收集各个PyHuskyList分片的数据，返回到前端。

• empty()：返回true如果该PyHuskyList不含任何元素，否则返回false。

• topk(k, key=None, reverse=False)：返回PyHuskyList的前k个元素。

• output()：输出PyHuskyList中的全部元素到前端控制台。

• foreach(func)：对PyHuskyList中的每一个元素实施func函数操作

待开发的操作符...

• sample(N)，take(N)，union，intersect，join，cartesian...

Husky应用库

以下为PyHusky支持的各类应用。

PageRank

• from_edgelist(pyhuskylist)：接收由(src, dst)对组成的PyHuskyList创建一个图。

• pagerank(num_iters)：计算一个图进行PageRank的计算，迭代num_iters次。

• topk(k)：得到一个图top-k的PageRank值

例子：

pr = pagerank.from_edgelist(edgelist)
pr.compute(iter=10)
pr.topk(5)