timothy_lau的博客

原创 第一次写MapReduce之WordCount实例

步骤如下：1. 安装JDK，目前我的版本是1.72. 安装eclipse

原创 《HIVE编程指南》简图之第7章HiveQL：视图

原创 《HIVE编程指南》简图之第13章：函数

原创 《HIVE编程指南》简图之第12章：开发

原创 《HIVE编程指南》简图之第6章：查询

原创 winpython（python3.4.4版本）加载第三方package

闲来无事下载了jieba0.38版本，并加载到winpython中运行，以下是加载步骤：步骤一：jieba下载：https://pypi.python.org/pypi/jieba/0.38步骤二：解压jieba到一个文件中，找到setup.py，我的路径是：C:\Users\lyh\Desktop\jieba-0.38找到winpython中的python.exe，我的路

原创 HIVESQL中row_number使用

row_number()在hive中是一个函数，必须带一个或者多个列参数，如row_number(col1, ....)，它的作用是按指定的列进行分组生成行序列，在row_number(a,b) 时，若两条记录的a，b列相同，则行序列+1，否则重新计数。因为hive是基于mapreaduce的，必须保证row_number执行是在reduce中，并且row_number中使用的列中，列值相同的

转载 matplotlib.pyplot中add_subplot方法参数111的含义

下述代码若要运行，得在安装Python之外安装matplotlib、numpy、scipy、six等库，专门来看这篇小贴的朋友应该知道这些库。import matplotlib.pyplot as pltx = [1.0, 2.0, 3.0]y = [3.0, 6.0, 5.0]fig = plt.figure()ax = fig.add_subplot(349)ax.plot(x,

原创 常用排序和查询

常用的排序和查询，以下用python实现冒泡排序原理：临近的数字两两进行比较,按照从小到大或者从大到小的顺序进行交换,这样一趟过去后,最大或最小的数字被交换到了最后一位,然后再从头开始进行两两比较交换,直到倒数第二位时结束.时间复杂度o(n*n)def bubble(l): flag = True for i in range(len(l)-1, 0, -1):

原创 sql中行列互换

基本思路：行转列用case when，再加上聚合函数如max、sum等;  列转行用union all。针对不同的数据库，也会有现成的函数使用，下面是hql中行列例子：转自：  http://my.oschina.net/repine/blog/295961?fromerr=1jSKR61a一、行转列１、问题hive如何将a       b       1a

转载 递归迭代和生成器

1.递归是针对函数，迭代是针对循环2.参考：http://www.cnblogs.com/hustcser/p/4256177.html生成器与迭代器的区别:生成器就是一种迭代器。生成器拥有next方法并且行为与迭代器完全相同，这意味着生成器也可以用于Python的for循环中。Python的for循环中，有next()调用和对StopIteration的处理，这样使得

原创 __builtins__.str class

__builtins__.str class 和String输出位置相关函数# capitalize(...)# S.capitalize() -> str# # Return a capitalized version of S, i.e. make the first character# have upper case and the rest

原创 python之sys

sys module1. argv# sys.argv 命令行参数List，第一个元素是程序本身路径 # command line arguments; argv[0] is the script pathname if knownimport osimport sysdirname = os.path.dirname(sys.argv[0])b

原创 python之os

os / os.path modulesOS模块简单的来说它是一个Python的系统编程的操作模块，可以处理文件和目录这些我们日常手动需要做的操作。官方对此的注释为： Miscellaneous(多样的) operating system interfaces1. os moduleos.name 获取操作系统标识(在window中是'nt') 如果想要详细的操作系统内容，可以如下

原创 Python之fileinput

fileinput modulefileinput module可以对一个或多个文件中的内容进行迭代、遍历等操作。该模块的input()函数有点类似文件readlines()方法。区别在于前者是一个迭代对象(iterable object)，需要用for循环迭代，后者是一次性读取所有行。用fileinput对文件进行循环遍历，格式化输出，查找、替换等操作，非常方便。1. 典型用法

原创 python之常用builtins

分为class和function1. class1.1 class rangehelp(__builtins__.range)class range(object) |  range(stop) -> range object |  range(start, stop[, step]) -> range object |  Return a sequence of nu

原创 KeyError:'USER'报错

手工导入了第三方module，在调用的过程中报错，调用脚本如下：from HiveTask import HiveTaskht = HiveTask()#ht.calendar.setMonth(-12)print (ht.calendar.getMonthFirst())print (ht.calendar.getMonthLast())print (ht.calendar.ge

转载 Python sys.path详细介绍

转自： http://www.jb51.net/article/42183.htm如何将路径“永久"添加到sys.path?sys.path是python的搜索模块的路径集，是一个list，print(sys.path)如下：['', 'D:\\winpython\\WinPython-64bit-3.4.3.7\\python-3.4.3.amd64\\python34.zip',

原创 求每个月的最后一天日期

在实际的应用中，经常会求一些期末指标，比如期末库存金额(就是每个月末那天的库存金额)，这时候可以用python脚本来求这些月末日期。然后把这些数据放到txt中，然后手动导入到一个临时表中，就制作成一个只包含月末日期的表。代码：# coding:utf-8import calendara1 = [2015,2016]a2 = [1,2,3,4,5,6,7,8,9,10,11,12]

原创 python之正则表达式

主要介绍核心函数和元字符1. 四个核心的函数1.1 re.compileCompile a regular expression pattern into a regular expression object, which can be used for matching using its match() and search() methods, but using re.com