hive中的mapjoin

在Hive中,common join是很慢的,如果我们是一张大表关联多张小表,可以使用mapjoin加快速度。 mapjoin主要有以下参数: hive.auto.convert.join : 是否自动转换为mapjoin hive.mapjoin.smalltable.filesize : 小...

2015-12-03 11:40:28

阅读数 5026

评论数 1

解决shiro会话标识未更新问题

要解决会话标识未更新的安全问题,就需要在做登录验证时生成新的session,所以需要先将原来的session失效。  一般的解决方法如下: public void login(HttpServletRequest request, ...){ // 让旧session失效 ...

2015-04-12 20:20:57

阅读数 4887

评论数 4

Hive小文件合并

Hive的后端存储是HDFS,它对大文件的处理是非常高效的,如果合理配置文件系统的块大小,NameNode可以支持很大的数据量。但是在数据仓库中,越是上层的表其汇总程度就越高,数据量也就越小。而且这些表通常会按日期进行分区,随着时间的推移,HDFS的文件数目就会逐渐增加。 小文件带来的问题 ...

2015-01-31 15:23:04

阅读数 22843

评论数 2

shell中date命令对month进行加减操作的bug

shell脚本中如何取上个月的月份呢?很容易能想到下面的命令: date +%Y%m -d '-1 month' 或者 date +%Y%m -d 'last month' 在大部分情况下这个命令运行正确。但是有些情况下这个命令会出现问题...

2015-01-15 12:58:53

阅读数 5365

评论数 0

spring中强大的bean操作类BeanWrapper

对于bean属性的操作,大家熟知的主要有下面这些工具类: Apache的BeanUtils和PropertyUtilscglib的BeanMap和BeanCopierspring的BeanUtils 但是最近我发现,在spring中有一个更强大的操作bean的类BeanWrappe...

2015-01-15 12:48:37

阅读数 7164

评论数 0

java日志组件介绍(common-logging,log4j,slf4j,logback )

common-logging common-logging是apache提供的一个通用的日志接口。用户可以自由选择第三方的日志组件作为具体实现,像log4j,或者jdk自带的logging, common-logging会通过动态查找的机制,在程序运行时自动找出真正使用的日志库。当然,commo...

2012-12-10 00:55:19

阅读数 37789

评论数 12

js url传值中文乱码之解决之道

因为js url在传值的过程中使用的是js自己默认的字符集编码规则,我们必须把它转成属于我们自己的编码规格。首先,将页面都设为“UTF-8”编码格式。 方法一:  js 程序代码: url=encodeURI(url);      //注意是整个URL  服务器端的代码: Str...

2012-08-19 22:08:40

阅读数 1160

评论数 0

网站访问错误

403错误:是网站访问过程中,常见的错误提示。资源不可用。服务器理解客户的请求,但拒绝处理它。通常由于服务器上文件或目录的权限设置导致。 404 错误:意味着链接指向的网页不存在,即原始网页的URL失效。 500错误:Internal server error(内部服务器错误)

2012-02-24 21:24:18

阅读数 442

评论数 0

java中的内存泄露情况

java中的内存泄露的情况:长生命周期的对象持有短生命周期对象的引用就很可能发生内存泄露,尽管短生命周期对象已经不再需要,但是因为长生命周期对象持有它的引用而导致不能被回收,这就是java中内存泄露的发生场景,通俗地说,就是程序员可能创建了一个对象,以后一直不再使用这个对象,这个对象却一直被引用,...

2012-02-24 21:17:33

阅读数 602

评论数 0

java中hashcode()和equals()的详解

hashcode方法浅析 有许多人学了很长时间的Java,但一直不明白hashCode方法的作用,我来解释一下吧。首先,想要明白hashCode的作用,你必须要先知道Java中的集合。  总的来说,Java中的集合(Collection)有两类,一类是List,再有一类是Set。你知道它...

2012-02-24 21:02:19

阅读数 545

评论数 0

二叉树遍历

先左后右,递归遍历。 先(根)序遍历:根、左、右; 中(根)序遍历:左、根、右; 后(根)序遍历:左、右、根;

2012-02-11 23:40:04

阅读数 386

评论数 0

程序员必读书籍

第一名:1333票《Code Complete (2nd Ed) by Steve McConnell》,中文版《代码大全(第二版)》,两届Software Jolt Award震撼大奖得主! 第二名:1181票 《The Pragmatic Programmer》,中文版《程序员修...

2012-02-11 20:09:37

阅读数 601

评论数 0

串的模式匹配KMP算法

#include #include using namespace std; //next函数值算法 void getNext(string substr,int next[]) { int i=0,j=-1; next[0] = -1; while(i<substr.lengt...

2012-02-11 20:05:00

阅读数 456

评论数 0

Javascript之文件操作 (IE)

一、功能实现核心:FileSystemObject 对象       要在javascript中实现文件操作功能,主要就是依靠FileSystemobject对象。  二、FileSystemObject编程   使用FileSystemObject 对象进行编程很简单,一般要经过如下的步骤...

2011-12-26 22:41:13

阅读数 422

评论数 0

javascript加载xml文件

function loadXml(xmlPath) { var xmlDoc = null; try { xmlDoc = new ActiveXObject("Microsoft.XMLDOM"); } catch(e)...

2011-12-04 15:32:23

阅读数 391

评论数 0

WPF窗口跳转及window和page区别

原文地址:http://blog.sina.com.cn/s/blog_3d6eb75d0100mqtx.html ------------------------------------------------------------------------------------------...

2011-11-29 16:49:30

阅读数 1088

评论数 0

JavaScript学习笔记(五)——函数对象2

1.给类型增加方法 通过给 对象的prototype属性 添加方法可以使得该方法对该类型的所有对象可用。我们可以通过这种方式为类型添加我们需要的方法。 Date.prototype.format = function(format) //author: meizz { var o ...

2011-10-25 23:50:25

阅读数 522

评论数 0

JavaScript学习笔记(四)——函数对象1

1.在JavaScript中,函数就是对象。函数对象连接到 Function.prototype。 因为函数是对象,所有它们可以像任何其他值一样被使用。函数可以存放在变量、对象和数组中,函数可以被当做参数传递给其他函数,函数也可以再返回函数。函数还可以拥有方法。 函数的与众不同之处在于它们...

2011-10-25 21:42:38

阅读数 453

评论数 0

JavaScript学习笔记(二)——对象

1.简单类型 javascript的简单类型包括 数字(Number)、字符串(String)、布尔值(Boolean)、null值 和 undefined值。其他所有值都是对象。 2.对象 javascript中的对象是可变键控集合。在javascript中,数组、函数、正则表...

2011-10-24 21:57:30

阅读数 401

评论数 0

JavaScript学习笔记(一)——基本语法

1.标识符与关键字 标识符以字母开头,可以包含字母、数字、下划线。标识符不能使用以下保留字符: abstract, boolean, break,byte,case,catch,char,class,const,debugger,default,delete,do,double,else,...

2011-10-24 20:47:41

阅读数 504

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭