调了很久,终于调通了。总结一下遇到的几个bug:
1 python 文件流会在每次读以后做标记,下次继续从上一位置开始读,如果每次都需要从头遍历的话,最好每次都重新打开文件,当然这个会影响程序的效率,但是目前我还没有想到什么合适的解决方案
2 读取文件的时候若文件中含有中文,要注意 中文编码问题。其实到目前为止也没想通这个编码怎么时好时不好,搞的心烦
3 Mrjob在输出的时候需要设置一下输出的协议,OUTPUT_PROTOCOL = RawProtocol,有时间阅读一下源码,看看到底是啥原因。
4 还有就是调试要耐心啊耐心,测试的时候要把所有能想到的情况都进行测试啊啊啊啊!
5 set可以看成数学意义上的无序和无重复元素的集合,因此,两个set可以做数学意义上的交集、并集等操作:
>>> s1 = set([1, 2, 3])
>>> s2 = set([2, 3, 4])
>>> s1 & s2
set([2, 3])
>>> s1 | s2
set([1, 2, 3, 4])
set和dict的唯一区别仅在于没有存储对应的value,但是,set的原理和dict一样,所以,同样不可以放入可变对象,因为无法判断两个可变对象是否相等,也就无法保证set内部“不会有重复元素”。
6
Python内置的enumerate
函数可以把一个list变成索引-元素对,这样就可以在for
循环中同时迭代索引和元素本身:
>>> for i, value in enumerate(['A', 'B', 'C']):
... print i, value
...
0 A
1 B
2 C
上面的for
循环里,同时引用了两个变量,在Python里是很常见的,比如下面的代码:
>>> for x, y in [(1, 1), (2, 4), (3, 9)]:
... print x, y
...
1 1
2 4
3 9