python pipe_python pipe模块用法

pipe并不是Python内置的库，如果你安装了easy_install，直接可以安装它，否则你需要自己下载它：http://pypi.python.org/pypi/pipe

之所以要介绍这个库，是因为它向我们展示了一种很有新意的使用迭代器和生成器的方式：流。pipe将可迭代的数据看成是流，类似于linux，pipe使用'|'传递数据流，并且定义了一系列的“流处理”函数用于接受并处理数据流，并最终再次输出数据流或者是将数据流归纳得到一个结果。我们来看一些例子。

第一个，非常简单的，使用add求和：

[python]

>>> from pipe import *

>>> range(5) | add

10

求偶数和需要使用到where，作用类似于内建函数filter，过滤出符合条件的元素：

[python]

>>> range(5) | where(lambda x: x % 2 == 0) | add

6

还记得我们定义的斐波那契数列生成器吗？求出数列中所有小于10000的偶数和需要用到take_while，与itertools的同名函数有类似的功能，截取元素直到条件不成立：

def fibonacci():

a=b=1

yield a

yield b

while True:

a, b = b, a+b

yield b

[python]>>> fib = fibonacci

>>> fib() | where(lambda x: x % 2 == 0)

... | take_while(lambda x: x < 10000)

... | add

3382

需要对元素应用某个函数可以使用select，作用类似于内建函数map；需要得到一个列表，可以使用as_list：

[python]

>>> fib() | select(lambda x: x ** 2) | take_while(lambda x: x < 100) | as_list

[1, 1, 4, 9, 25, 64]

pipe中还包括了更多的流处理函数。你甚至可以自己定义流处理函数，只需要定义一个生成器函数并加上修饰器Pipe。如下定义了一个获取元素直到索引不符合条件的流处理函数：

[python]

>>> @Pipe

... def take_while_idx(iterable, predicate):

... for idx, x in enumerate(iterable):

... if predicate(idx): yield x

... else: return

...

使用这个流处理函数获取fib的前10个数字：

[python]

>>> fib() | take_while_idx(lambda x: x < 10) | as_list

[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

更多的函数就不在这里介绍了，你可以查看pipe的源文件，总共600行不到的文件其中有300行是文档，文档中包含了大量的示例。

pipe实现起来非常简单，使用Pipe装饰器，将普通的生成器函数(或者返回迭代器的函数)代理在一个实现了__ror__方法的普通类实例上即可，但是这种思路真的很有趣。

一道面试题：

读取文件，统计文件中每个单词出现的次数，然后按照次数高低排序。

本来蛮平淡无奇的一题，但一跟刚刚介绍的 Pipe 结合起来，就有意思了，这类数据流的处理，相当适合用 Pipe 来处理，花了点时间，写代码如下：

[('request', 91), ('POST', 81), ('and', 38), ('u', 36), ('if', 33),

('in', 32), ('team', 29), ('line', 23), ('objects', 20), ('gcmgroups',

16), ('get', 14), ('import', 14), ('save', 13), ('str', 12), ('0', 11),

('1', 11), ('i', 11), ('False', 10), ('GcwGroups', 9), ('from', 9),

('group_name', 9), ('path', 9), ('team_groups', 9), ('add', 8), ('else',

8), ('extra_context', 8), ('form2', 8), ('return', 8), ('Area', 7),

('baoming', 7), ('cname', 7), ('cname1', 7), ('cname2', 7), ('form1',

7), ('mysql_cur',

7), ('8', 6), ('gender', 6), ('is_del', 6), ('time', 6), ('user', 6),

('20', 5), ('7', 5), ('def', 5), ('depth', 5), ('for', 5), ('gcwteam',

5), ('radio1', 5), ('13', 4), ('16', 4), ('2', 4), ('2013', 4), ('5',

4)]