- 博客(9)
- 资源 (15)
- 收藏
- 关注
原创 hive mapjoin 使用 和个人理解
遇到一个hive的问题,如下hive sql:select t1.a,t1.b from table t1 join table2 t2 on ( t1.a=t2.a and t1.datecol=20110802)该语句中B表有30亿行记录,t1表只有100行记录,而且t2表中数据倾斜特别严重,有一个key上有15亿行记录,在运行过程中特别的慢,而且在reduece的过程中
2013-02-27 11:18:50 10960 2
转载 hive join
hive(0.9.0):1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务,如果多张表使用同一列做join则将被翻译成一个reduce,否则将被翻译成多个map-reduce任务。eg:SELECT a.val
2013-02-27 10:22:58 517
转载 hadoop如何分发本地的jar文件
一般情况下,我们会使用下面的命令来运行一个hadoop任务:hadoop jar abc.jar arg0 arg1 ...这个命令实际上是转化成下面的命令来运行的java org.apache.hadoop.util.RunJar abc.jar arg0 arg1 ...在RunJar中,会读取abc.jar文件,然后尝试从manifest中提取"Main-Class"
2013-02-21 18:03:37 625
原创 HBase中为什么要有Column Family
在HBase中,数据是按Column Family来分割的,同一个Column Family下的所有列的数据放在一个文件(为简化下面的描述在此使用文件这个词,在HBase内部使用的是Store)中。为什么要这样子做呢? HBase本身的设计目标是支持稀疏表,而稀疏表通常会有很多列,但是每一行有值的列又比较少。如果不使用Column Family的概念,那么有两种设计
2013-02-21 17:57:11 6434
转载 理解AOP
Aspect Oriented Programming 面向切面编程。解耦是程序员编码开发过程中一直追求的。AOP也是为了解耦所诞生。具体思想是:定义一个切面,在切面的纵向定义处理方法,处理完成之后,回到横向业务流。AOP 在Spring框架中被作为核心组成部分之一,的确Spring将AOP发挥到很强大的功能。最常见的就是事务控制。工作之余,对于使用的工具,不免需要了解其所以然。
2013-02-21 17:12:45 201
转载 Spring AOP (下)
利用方式一的配置起来,可见代码还是非常的厚重的,定义一个切面就要定义一个切面类,然而切面类中,就一个通知方法,着实没有必要。所以Spring提供了,依赖aspectj的schema配置和基于aspectj 注解方式。这两种方式非常简介方便使用,也是项目中普遍的使用方式。梳理之:4、方式二:schema配置a、业务类:View Code/** * 业务类 *
2013-02-21 17:09:49 301
转载 Spring AOP (上)
工作忙,时间紧,不过事情再多,学习是必须的。记得以前的部门老大说过:“开发人员不可能一天到晚只有工作,肯定是需要自我学习。第一:为了更充实自己,保持进步状态。第二:为了提升技术,提高开发能力。第三:保持程序员对技术和学习的热情,工作的激情。程序员还是需要把基础打扎实,修炼自己的内功。” 所以赶紧把学习的东西总结一下,加深印象。之前有说了下AOP的原理 (http://www.cnblogs.c
2013-02-21 17:05:32 70
转载 设计自己的Annotation Java
注解编程。通过Java的反射机制相关的API来访问annotation信息。Annotation类型使用关键字@interface而不是interface。annotation一般作为一种辅助途径,应用在软件框架或工具中,在这些工具类中根据不同的 annontation注解信息采取不同的处理过程或改变相应程序元素(类、方法及成员变量等)的行为。 例如:Junit、Struts、S
2013-02-21 15:29:36 539
原创 java php base64 使用差别 使用注意
在开发的时候遇到个现象。对方用php base64_encode() 对字符串进行加密。但我这边是用java解码。导致出现问题。问题如下:package com.tudou.test;import java.io.IOException; /** * java base64编码和解码的演示类 * 注:base64编码后通过url传递时,获得时"="会给替换掉, *
2013-02-19 15:41:40 14705 4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人