2013年02月_学要无止尽

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创 hive mapjoin 使用和个人理解

遇到一个hive的问题，如下hive sql：select t1.a,t1.b from table t1 join table2 t2 on ( t1.a=t2.a and t1.datecol=20110802)该语句中B表有30亿行记录，t1表只有100行记录，而且t2表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中

2013-02-27 11:18:50 10903 2

转载 hive join

hive(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。eg：SELECT a.val

2013-02-27 10:22:58 508

转载 hadoop如何分发本地的jar文件

一般情况下，我们会使用下面的命令来运行一个hadoop任务：hadoop jar abc.jar arg0 arg1 ...这个命令实际上是转化成下面的命令来运行的java org.apache.hadoop.util.RunJar abc.jar arg0 arg1 ...在RunJar中，会读取abc.jar文件，然后尝试从manifest中提取"Main-Class"

2013-02-21 18:03:37 609

原创 HBase中为什么要有Column Family

在HBase中，数据是按Column Family来分割的，同一个Column Family下的所有列的数据放在一个文件（为简化下面的描述在此使用文件这个词，在HBase内部使用的是Store）中。为什么要这样子做呢？ HBase本身的设计目标是支持稀疏表，而稀疏表通常会有很多列，但是每一行有值的列又比较少。如果不使用Column Family的概念，那么有两种设计

2013-02-21 17:57:11 6347

转载理解AOP

Aspect Oriented Programming 面向切面编程。解耦是程序员编码开发过程中一直追求的。AOP也是为了解耦所诞生。具体思想是：定义一个切面，在切面的纵向定义处理方法，处理完成之后，回到横向业务流。AOP 在Spring框架中被作为核心组成部分之一，的确Spring将AOP发挥到很强大的功能。最常见的就是事务控制。工作之余，对于使用的工具，不免需要了解其所以然。

2013-02-21 17:12:45 187

转载 Spring AOP (下)

利用方式一的配置起来，可见代码还是非常的厚重的，定义一个切面就要定义一个切面类，然而切面类中，就一个通知方法，着实没有必要。所以Spring提供了，依赖aspectj的schema配置和基于aspectj 注解方式。这两种方式非常简介方便使用，也是项目中普遍的使用方式。梳理之：4、方式二：schema配置a、业务类：View Code/** * 业务类 *

2013-02-21 17:09:49 292

转载 Spring AOP (上)

工作忙，时间紧，不过事情再多，学习是必须的。记得以前的部门老大说过：“开发人员不可能一天到晚只有工作，肯定是需要自我学习。第一：为了更充实自己，保持进步状态。第二：为了提升技术，提高开发能力。第三：保持程序员对技术和学习的热情，工作的激情。程序员还是需要把基础打扎实，修炼自己的内功。” 所以赶紧把学习的东西总结一下，加深印象。之前有说了下AOP的原理 (http://www.cnblogs.c

2013-02-21 17:05:32 60

转载设计自己的Annotation Java

注解编程。通过Java的反射机制相关的API来访问annotation信息。Annotation类型使用关键字@interface而不是interface。annotation一般作为一种辅助途径，应用在软件框架或工具中，在这些工具类中根据不同的 annontation注解信息采取不同的处理过程或改变相应程序元素（类、方法及成员变量等）的行为。　　例如：Junit、Struts、S

2013-02-21 15:29:36 528

原创 java php base64 使用差别使用注意

在开发的时候遇到个现象。对方用php base64_encode() 对字符串进行加密。但我这边是用java解码。导致出现问题。问题如下：package com.tudou.test;import java.io.IOException; /** * java base64编码和解码的演示类 * 注：base64编码后通过url传递时，获得时"="会给替换掉， *

2013-02-19 15:41:40 14626 4