2018年07月_tinyid

10月 07月 05月 03月 02月

原创 Python小技巧5：需要动态生成列表的时候，考虑使用生成器替代

典型代码:def mygen(): i = 0 while i < 100: yield i i += 1if __name__ == '__main__': gen = mygen() for item in gen: print(item)什么是生成器：生成器是一个包含yield表达式的函数，只要一个函...

2018-07-07 19:02:08 4377

原创 Python中使用threading.Condition交替打印两个字符的程序

这个程序涉及到两个线程的的协调问题，两个线程为了能够相互协调运行，必须持有一个共同的状态，通过这个状态来维护两个线程的执行，通过使用threading.Condition对象就能够完成两个线程之间的这种协调工作。threading.Condition默认情况下会通过持有一个ReentrantLock来协调线程之间的工作，所谓可重入锁，是只一个可以由一个线程递归获取的锁，此锁对象会维护当前锁的所...

2018-07-07 01:12:27 1650

原创 Hive应用性能优化

1. 将表分区（Partitioned Table）通过将表划分为相互独立的分区，对应于HDFS上相互独立数据目录，在查询时通过指定分区列上的条件，将读取数据的范围限定在关心的数据上，而不需要读取全表数据，继而提升查询性能；通过CREATE TABLE语句实现。2. 分桶（Bucked Table）所谓分桶就是将表中的内容以某列为基准，对所指定的桶的个数N进行模运算，继而将数据划分成N份，对应于H...

2018-07-03 11:42:36 434