- 博客(143)
- 资源 (2)
- 收藏
- 关注
原创 Group by cube and rollup in Hive 0.10
从hive 0.10版本开始,Hive支持group by rollup and cube。https://issues.apache.org/jira/browse/HIVE-3433 1. rollup和cube区别:(来自oracle)Oracle的GROUP BY语句除了最基本的语法外,还支持ROLLUP和CUBE语句。如果是Group by ROLLUP(A, B,
2013-01-08 22:39:04
1513
原创 HivePython 客户端查询示例
HivePython 客户端查询示例Hive对外接口使用的是thrift,所以默认就提供了多语言支持,python,perl等语言自然不在话下。本文就hive 0.9版本做一个查询的示例。Hive编译的时候就提供了Python的类库,所以从Hive社区下载tar包,解压缩,在lib的py目录下即可看到Python的类库。 首先需要安装Python。这里,我们选择Pyth
2013-01-06 22:50:23
1202
1
原创 Hive 0.8.1 with MapReduce 0.23.1 单机测试安装
Hive0.8.1 with MapReduce 0.23.1 单机测试安装自从MR V2出来之后,变化了很多,安装方式也和以前不一样了,折腾了好久,才装好。1、 Hadoop的安装1) 下载hadoop-1.0.0.tar.gz包,放到指定目录并解压缩。2) 修改配置,加入环境变量$hadoop_home/etc/hadoop/yarn-env.sh
2012-03-28 22:24:27
2575
原创 可拓展性Hash
可拓展性Hash前言在数据库的索引中,一般有两种结构的实现方式,B+树的实现方式和基于Hash的索引方式。伴随着存储设备的不断降价,Hash表这种以空间换时间的策略也越来越受欢迎。比如在Mysql中就有B+树和Hash索引两种的实现方式。Hash索引分为静态索引、可拓展性索引和线性索引三种方式。静态索引就是直接对数据进行Hash分区存放,当数据超过可存放大小的时候,就采用溢出页的方
2012-03-18 23:35:02
1054
原创 动态代理及代理模式
1. 什么是动态代理关于动态代理,先引用JDK上的一段话动态代理类(以下简称为代理类)是一个实现在创建类时在运行时指定的接口列表的类,该类具有下面描述的行为。 代理接口 是代理类实现的一个接口。代理实例 是代理类的一个实例。 每个代理实例都有一个关联的调用处理程序 对象,它可以实现接口InvocationHandler。通过其中一个代理接口的代理实例上的方法调用将被指
2011-12-18 22:49:52
518
原创 基于kryonet的RPC,使用kryo进行序列化
Kryo是一个序列化框架。Kryonet是一个基于kryo的RPC框架,它实现了一套高效简洁的API,它通过NIO实现了TCP和UDP通讯,目前还不支持Http。自己写了一个测试代码,运行了下,感觉还不错,记录下来。1、listenerpackage com.
2011-08-21 15:46:34
3195
原创 浅谈Java类加载器
1. 从ClassNotFoundException谈起编码的时候,我们常常可以看到ClassNotFoundException,比如在jdbc连接的时候,引入jar包不完全的时候等,我们一看就知道这个是由于找不到相关类库导致的,那么这个是从什么地方产生的?为什么会抛出这个
2011-08-14 15:46:01
2934
3
原创 Netty之源代码解析
Netty始终要写一篇来作为终结的,但是到了写的时候才发现无从下手,了解 的还是不够吧。无奈,从四处摘录了一大片东西,很多都是官网下来的,没有什么文字说明,权当参考了。首先来一张总体架构图,这个是从Neety官网上摘下来的,描述了Netty的核心架构和总体功能。 1. Boot
2011-07-20 21:14:23
10493
4
原创 使用Netty进行文件传输
在写出了Netty Hello World 和 netty对象传输之后,又觉得不够,看了官网的例子,所以有了现在的这个文件传输。顺便说下,netty官网的例子真的好,如果要学习netty,还是看官网例子的好。不过我英文不太好,刚开始走了绕了好大一圈,但是现在熟悉了之后,回过头来看
2011-07-19 22:45:52
21623
19
原创 使用Netty进行网络间对象传输
代码大部分和上一篇《Netty初步之Hello World》一样,所以这里也就不写什么说明了,仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan
2011-07-17 18:24:23
10974
5
原创 使用Netty进行网络间对象传输
代码大部分和上一篇《Netty初步之Hello World》一样,所以这里也就不写什么说明了,仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan
2011-07-17 18:21:14
175
原创 Netty初步之hello world
Java的网络操作一直比较复杂,虽然说在加入NIO之后简单了些,但还不是我这些菜鸟玩得起的,由于存在大量低层操作和协议处理,所以在使用上面还是很难。迄今为止,还没有用NIO写出稳定可靠的网络操作,也许这和具体的应用需求较少也有关系吧。大概也有人和我对NIO有同样的想法,他们最NI
2011-07-17 12:32:50
7717
4
转载 JDK7新特性 监听文件系统的更改
我们用IDE(例如Eclipse)编程,外部更改了代码文件,IDE马上提升“文件有更改”。Jdk7的NIO2.0也提供了这个功能,用于监听文件系统的更改。它采用类似观察者的模式,注册相关的文件更改事件(新建,删除……),当事件发生的,通知相关的监听者。 java.nio.fil
2011-07-13 23:03:39
1790
1
原创 JDK 7.0 新特性介绍
1. 菱形语法(泛型实例化类型自动推断)List list = new ArrayList这个真的很像菱形 2. 在目前版本中,不可具体化的泛型(任意类型)可变参数,在编译时,会在调用处产生警告,JDK7里将这个警告挪到了方法定义处变化前: static List asL
2011-07-13 22:43:28
1729
转载 Zookeeper全解析——Paxos作为灵魂
转自:http://www.spnguru.com/?p=232原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Pa
2011-06-26 00:16:00
2715
原创 zookeeper应用开发
由于zookeeper的client只有zookeeper一个对象,使用也比较简单,所以就不许要文字说明了,在代码中注释下就ok 了。1、测试用的main方法 package ClientExample;public class TestMain { public static void main(String[] args) { /* * 测试流程
2011-06-11 20:14:00
5013
1
原创 ZooKeeper部署
ZooKeeper部署 真的很悲催,VMware在wndows下面使用的时候经常没有响应,就卡在那里了,一怒之下,直接在硬盘安装Ubuntu了,搞了个双系统,用了一天的Ubuntu,感觉还不错,挺好的,QQ、电影、听歌之类的都可以搞定,除了没有QQ游戏之外,其他基本完美了。好了,就口水到这了,下面开始讲部署的过程。Zookeeper本身就是为了分布式部署而存在的,所以在这里就不介绍单机的部署了,部
2011-06-11 19:59:00
2508
转载 ZooKeeper介绍
What is ZooKeeper?ZooKeeper是什么?ZooKeeper is a distributed, open-source coordination service fordistributed applications.ZooKeeper提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务。ZooKeeper的设计非常易于编程,它使用的是类似于文件系统
2011-06-11 19:22:00
2279
转载 Json Util
import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import net.sf.json.JSONArray;
2011-06-01 22:16:00
621
原创 http serverlete test
import java.io.IOException;import java.io.PrintWriter;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.htt
2011-05-30 22:56:00
495
原创 dom4j 创建xml
<br />import java.io.File;import java.io.FileWriter;import org.dom4j.Document;import org.dom4j.DocumentHelper;import org.dom4j.Element;import org.dom4j.io.XMLWriter;public class xmlCreater { public static void main(String[] args) { new xml
2011-03-04 11:17:00
288
原创 dom4j 编辑xml
<br />import java.io.File;import java.io.FileWriter;import java.util.Iterator;import java.util.List;import org.dom4j.Attribute;import org.dom4j.Document;import org.dom4j.Element;import org.dom4j.io.SAXReader;import org.dom4j.io.XMLWriter;
2011-03-04 11:17:00
480
原创 JDOM xml读取和修改
<br />import java.io.FileOutputStream;import java.io.IOException;import java.util.Iterator;import java.util.List;import org.jdom.Document;import org.jdom.Element;import org.jdom.JDOMException;import org.jdom.input.SAXBuilder;import org.jdom
2011-03-04 11:16:00
555
原创 JDOM创建xml
<br />import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import org.jdom.Document;import org.jdom.Element;import org.jdom.output.XMLOutputter;public class xmlCreater { public static void main(Str
2011-03-04 11:15:00
534
转载 iBATIS sqlMapConfig配置详解
<br /><?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE sqlMapConfig PUBLIC "-//ibatis.apache.org//DTD SQL Map Config 2.0//EN" "http://ibatis.apache.org/dtd/sql-map-config-2.dtd"><sqlMapConfig> <!-- <properties resource="prop
2011-01-27 12:57:00
833
原创 java配置文件property文件内容的修改
<br />public void abc(String value) { String path = this.getClass().getProtectionDomain().getCodeSource() .getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/classes")); String propertyFilePath = rootPath + "
2010-12-16 12:01:00
3043
1
原创 java文件的写入和追加
/** * 日志文件的写入 * @param contects */ private void saveLogsToFile(String contects){ String path = this.getClass().getProtectionDomain().getCodeSource().getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/WEB-INF"))
2010-12-16 12:00:00
1988
转载 ibaits的JPetStore中持久层的研究、事务的处理
<br />本文参考了<br />iBatis DAO入门与进阶(http://www.matrix.org.cn/resource/article/44/44058_iBatis+DAO.html)<br /> iBatis DAO事务探索(http://www.blogjava.net/RongHao/archive/2006/01/20/28817.html)<br /><br />今天继续研究了JPetStore的持久层,其中由于看了一篇文章的误导,导致我对其中的事务处理深表怀疑。通过阅读源代码与看
2010-12-08 11:47:00
558
原创 tomcat访问优化,提高并发
<br />系统发布使用的是tomcat6,发布的时候为了方便,把地图服务和web应用服务发布在一起了,<br />所以呢,在访问人数稍微多一些的情况下,就出现了页面访问速度慢,页面打不开的情况,<br />修改了tomcat的配置,然后发现情况好了很多,说明修改有效,记录下来。<br />server.xml<br /> <br /> <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="2000" minSpa
2010-12-06 10:11:00
2046
原创 dwr下A request has been denied as a potential CSRF attack.问题
<br />最近换到了tomcat7,运行代码的时候发现问题了,<br />控制台所有的dwr请求都变成了:“A request has been denied as a potential CSRF attack”<br />所有的都不能访问,提示跨域访问问题,然后换回tomcat6,发现每一点问题,<br />网上查了半天,发现时dwr的问题<br />解决办法如下:<br />修改web.xml的dwr配置,:<br /><listener> <listener-class> org.
2010-12-04 23:58:00
6457
3
原创 Java线程终止,避免使用stop
<br />package Threadtest;/** * 停止线程的方法 * stop的方法已经不推荐使用了,为了适用以后的需要,还是得来好好的琢磨下thread中的interrupt方法 * @author Don Quixote * 2010-12-2 下午02:52:56 * Hello,Don Quixote! */public class ThreadTest extends Thread { public static void main(String[]
2010-12-02 15:24:00
1353
原创 Java线程中start和run方法的区别
<br />public class TestThread1 { public static void main(String[] args) { Runner1 r = new Runner1();// r.run();//这是方法调用,而不是开启一个线程 Thread t = new Thread(r);// 调用了Thread(Runnable target)方法。且父类对象变量指向子类对象。 t.start(); for (int i = 0; i < 10000
2010-11-30 17:11:00
1691
1
原创 java的公共方法——对象自动匹配
<br />package com.copote.shop.util;import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.Queue;import java.util.Set;/** * 一个公
2010-11-30 10:59:00
1187
原创 个人积累的js的一些公共方法
<br />/** * js中的一些公共的方法 * @Don Quixote **//** * js 数据的hash表结构 */ window.onerror=function(){ return true; }window.alert=function(){ return false;}function formatDateMonth(date){ var year = date.substr(0,4); var month = dat
2010-11-30 10:58:00
913
原创 通过反射进行map和bean之间的互相转换
<br />/** * 反射方法 * 将map转化为bean和将bean转化为map * @author Don Quixote * 2010-11-29 下午05:18:58 * Hello,Don Quixote! */public class PublicReflection { //忽略属性的大小写问题 //字段类型也只支持最基本的String,Integer,Long,Float,Double public static <T> T ChangeMapToS
2010-11-29 17:19:00
2736
原创 Oracle中根据Date型转换成Java对应的long型毫秒数
select sum((To_date(t.c_tjsj, 'yyyy-mm-dd hh24-mi') - 8/24 - To_date('1970-01-01', 'yyyy-mm-dd')) * 24 * 60*(t.n_cqrs-t.n_jlrs)) as timeSum, count(*) as msgSum,t.n_sbdh,sum(t.n_jlrs) as inSum,sum(t.n_cqrs) as outSum from t_rlsjb t wher
2010-11-27 21:44:00
2607
转载 WIN7安装ORACLE10所遇到问题的解决
<br />ERROR 1 <br />正在检查操作系统要求...<br />要求的结果: 5.0,5.1,5.2,6.0 之一<br />实际结果: 6.1<br />检查完成。此次检查的总体结果为: 失败 <<<<<br />问题: Oracle Database 11g 未在当前操作系统中经过认证。<br />建议案: 确保在正确的平台上安装软件。<br />======================================================== <br />正在检查 Serv
2010-11-25 22:44:00
953
转载 关于Java23种设计模式的有趣见解
<br /><br />创建型模式<br />1、FACTORY—追MM少不了请吃饭了,麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西,虽然口味有所不同,但不管你带MM去麦当劳或肯德基,只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory<br />工厂模式:客户类和工厂类分开。消费者任何时候需要某种产品,只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时,工厂类也要做相应的修改。如:如何创建及如何向客户端提供。<br />2、BUILDER—MM最爱听的就是“我
2010-10-14 22:35:00
209
转载 DWR2.0的调用前拦截
<br /><br />每次调用dwr的方法前检查用户是否已经登录,否则就不能执行并且退到首页。<br /><br />当然了,做拦截器有很多方式,但经过研究发现DWR自带很多插件,其中就有一个调用处理的插件。具体做法如下。<br /><br />在web.xml里的DWR配置中加入一个参数:<init-param><br /> <param-name><br /> org.directwebremoting.extend.Remoter<br />
2010-06-24 11:32:00
331
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人