2016年09月_youzhouliu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 Python中extend和append的区别

append() 方法向列表的尾部添加一个新的元素。只接受一个参数。>>> num = [1,2]>>> num.append(3)>>> num[1, 2, 3]>>> num.append('a')>>> num[1, 2, 3, 'a']>>> num.append(6,7)Traceback (most recent call last): File "", li

2016-09-29 10:03:10 3982

转载一分钟教你知道乐观锁和悲观锁的区别

悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁。乐观锁(Optimistic Lock), 顾名思义，就是很乐观，每次去拿数据的时候都认为别人不会修改

2016-09-22 09:06:18 2910

原创 hive视图操作

Hive 0.6版本及以上支持视图Hive View具有以下特点：1. View是逻辑存在，Hive暂不支持物化视图(1.0.3)2. View只读，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View3. View内可能包含ORDER BY/LIMIT语句，假如一个针对view的查询也包含这些语句，则view中的语句优先级高。例如，定义v

2016-09-21 16:39:02 10258 1

转载正确理解Mysql的列索引和多列索引

Mysql数据库提供两种类型的索引，如果没正确设置，索引的利用效率会大打折扣并且完全不知问题所在。[c-sharp] view plain copyCREATE TABLE test ( id INT NOT NULL, last_name CHAR(30) NOT NULL, firs

2016-09-19 14:18:35 5693 1

原创 Python——插入排序

本博文示例为自己指定一定范围，生成指定个数的随机数，再对生成的随机数进行排序，并记录排序所花时间。生成指定范围、指定个数随机数代码：import randomdef generate_point_range(gene_size, min_val, max_val): num_list = [] i = 0 while i < gene_size:

2016-09-19 13:36:30 574

原创 python——快速排序实现

快速排序（quick sort）是一种分治排序算法。快速排序的思路为：1、选取一个划分元素（partition element，有时又称为pivot）；2、重排列表将其划分为三个部分：left（小于划分元素pivot的部分）、划分元素pivot、right（大于划分元素pivot的部分），此时，划分元素pivot已经在列表的最终位置上；3、分别对left和right两个部分进行递归

2016-09-18 08:09:13 2442

原创 Oozie shell script action

本文为在实际操作中，使用oozie做任务调度，并在action中调用Python脚本。workflow.xml的配置如下： ${jobTracker} ${nameNode} mapre

2016-09-05 18:23:41 2715

转载 Oozie Shell Action 配置

Shell ActionShell action运行一个shell命令，需要配置的有job-tracker，name-node和一些必要的参数。经过配置，在启动Shell Action之前可以创建或删除HDFS文件夹。可以通过配置文件（通过job-xml元素）给定配置信息，或者是用内嵌的configuration元素进行配置。可以在内嵌的configuration里

2016-09-01 17:39:21 4946