cxhzqhzq-CSDN博客

原创 Group by cube and rollup in Hive 0.10

从hive 0.10版本开始，Hive支持group by rollup and cube。https://issues.apache.org/jira/browse/HIVE-3433 1. rollup和cube区别:(来自oracle)Oracle的GROUP BY语句除了最基本的语法外，还支持ROLLUP和CUBE语句。如果是Group by ROLLUP(A, B,

2013-01-08 22:39:04 1513

原创 HivePython 客户端查询示例

HivePython 客户端查询示例Hive对外接口使用的是thrift，所以默认就提供了多语言支持，python，perl等语言自然不在话下。本文就hive 0.9版本做一个查询的示例。Hive编译的时候就提供了Python的类库，所以从Hive社区下载tar包，解压缩，在lib的py目录下即可看到Python的类库。首先需要安装Python。这里，我们选择Pyth

2013-01-06 22:50:23 1202 1

原创 Hive 0.8.1 with MapReduce 0.23.1 单机测试安装

Hive0.8.1 with MapReduce 0.23.1 单机测试安装自从MR V2出来之后，变化了很多，安装方式也和以前不一样了，折腾了好久，才装好。1、 Hadoop的安装1) 下载hadoop-1.0.0.tar.gz包，放到指定目录并解压缩。2) 修改配置，加入环境变量$hadoop_home/etc/hadoop/yarn-env.sh

2012-03-28 22:24:27 2575

原创可拓展性Hash

可拓展性Hash前言在数据库的索引中，一般有两种结构的实现方式，B+树的实现方式和基于Hash的索引方式。伴随着存储设备的不断降价，Hash表这种以空间换时间的策略也越来越受欢迎。比如在Mysql中就有B+树和Hash索引两种的实现方式。Hash索引分为静态索引、可拓展性索引和线性索引三种方式。静态索引就是直接对数据进行Hash分区存放，当数据超过可存放大小的时候，就采用溢出页的方

2012-03-18 23:35:02 1054

原创动态代理及代理模式

1. 什么是动态代理关于动态代理，先引用JDK上的一段话动态代理类（以下简称为代理类）是一个实现在创建类时在运行时指定的接口列表的类，该类具有下面描述的行为。代理接口是代理类实现的一个接口。代理实例是代理类的一个实例。每个代理实例都有一个关联的调用处理程序对象，它可以实现接口InvocationHandler。通过其中一个代理接口的代理实例上的方法调用将被指

2011-12-18 22:49:52 518

原创基于kryonet的RPC，使用kryo进行序列化

Kryo是一个序列化框架。Kryonet是一个基于kryo的RPC框架，它实现了一套高效简洁的API，它通过NIO实现了TCP和UDP通讯，目前还不支持Http。自己写了一个测试代码，运行了下，感觉还不错，记录下来。1、listenerpackage com.

2011-08-21 15:46:34 3195

原创浅谈Java类加载器

1. 从ClassNotFoundException谈起编码的时候，我们常常可以看到ClassNotFoundException，比如在jdbc连接的时候，引入jar包不完全的时候等，我们一看就知道这个是由于找不到相关类库导致的，那么这个是从什么地方产生的？为什么会抛出这个

2011-08-14 15:46:01 2934 3

原创 Netty之源代码解析

Netty始终要写一篇来作为终结的，但是到了写的时候才发现无从下手，了解的还是不够吧。无奈，从四处摘录了一大片东西，很多都是官网下来的，没有什么文字说明，权当参考了。首先来一张总体架构图，这个是从Neety官网上摘下来的，描述了Netty的核心架构和总体功能。 1. Boot

2011-07-20 21:14:23 10493 4

原创使用Netty进行文件传输

在写出了Netty Hello World 和 netty对象传输之后，又觉得不够，看了官网的例子，所以有了现在的这个文件传输。顺便说下，netty官网的例子真的好，如果要学习netty，还是看官网例子的好。不过我英文不太好，刚开始走了绕了好大一圈，但是现在熟悉了之后，回过头来看

2011-07-19 22:45:52 21623 19

原创使用Netty进行网络间对象传输

代码大部分和上一篇《Netty初步之Hello World》一样，所以这里也就不写什么说明了，仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan

2011-07-17 18:24:23 10974 5

原创使用Netty进行网络间对象传输

代码大部分和上一篇《Netty初步之Hello World》一样，所以这里也就不写什么说明了，仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan

2011-07-17 18:21:14 175

原创 Netty初步之hello world

Java的网络操作一直比较复杂，虽然说在加入NIO之后简单了些，但还不是我这些菜鸟玩得起的，由于存在大量低层操作和协议处理，所以在使用上面还是很难。迄今为止，还没有用NIO写出稳定可靠的网络操作，也许这和具体的应用需求较少也有关系吧。大概也有人和我对NIO有同样的想法，他们最NI

2011-07-17 12:32:50 7717 4

转载 JDK7新特性监听文件系统的更改

我们用IDE（例如Eclipse）编程，外部更改了代码文件，IDE马上提升“文件有更改”。Jdk7的NIO2.0也提供了这个功能，用于监听文件系统的更改。它采用类似观察者的模式，注册相关的文件更改事件（新建，删除……），当事件发生的，通知相关的监听者。 java.nio.fil

2011-07-13 23:03:39 1790 1

原创 JDK 7.0 新特性介绍

1. 菱形语法（泛型实例化类型自动推断）List list = new ArrayList这个真的很像菱形 2. 在目前版本中，不可具体化的泛型（任意类型）可变参数，在编译时，会在调用处产生警告，JDK7里将这个警告挪到了方法定义处变化前： static List asL

2011-07-13 22:43:28 1729

转载 Zookeeper全解析——Paxos作为灵魂

转自：http://www.spnguru.com/?p=232原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Pa

2011-06-26 00:16:00 2715

原创 zookeeper应用开发

由于zookeeper的client只有zookeeper一个对象，使用也比较简单，所以就不许要文字说明了，在代码中注释下就ok 了。1、测试用的main方法 package ClientExample;public class TestMain { public static void main(String[] args) { /* * 测试流程

2011-06-11 20:14:00 5013 1

原创 ZooKeeper部署

ZooKeeper部署真的很悲催，VMware在wndows下面使用的时候经常没有响应，就卡在那里了，一怒之下，直接在硬盘安装Ubuntu了，搞了个双系统，用了一天的Ubuntu，感觉还不错，挺好的，QQ、电影、听歌之类的都可以搞定，除了没有QQ游戏之外，其他基本完美了。好了，就口水到这了，下面开始讲部署的过程。Zookeeper本身就是为了分布式部署而存在的，所以在这里就不介绍单机的部署了，部

2011-06-11 19:59:00 2508

转载 ZooKeeper介绍

What is ZooKeeper？ZooKeeper是什么？ZooKeeper is a distributed, open-source coordination service fordistributed applications.ZooKeeper提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。ZooKeeper的设计非常易于编程，它使用的是类似于文件系统

2011-06-11 19:22:00 2279

import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import net.sf.json.JSONArray;

2011-06-01 22:16:00 621

原创 http serverlete test

import java.io.IOException;import java.io.PrintWriter;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.htt

2011-05-30 22:56:00 495

原创 dom4j 创建xml

import java.io.File;import java.io.FileWriter;import org.dom4j.Document;import org.dom4j.DocumentHelper;import org.dom4j.Element;import org.dom4j.io.XMLWriter;public class xmlCreater { public static void main(String[] args) { new xml

2011-03-04 11:17:00 288

原创 dom4j 编辑xml

import java.io.File;import java.io.FileWriter;import java.util.Iterator;import java.util.List;import org.dom4j.Attribute;import org.dom4j.Document;import org.dom4j.Element;import org.dom4j.io.SAXReader;import org.dom4j.io.XMLWriter;

2011-03-04 11:17:00 480

原创 JDOM xml读取和修改

import java.io.FileOutputStream;import java.io.IOException;import java.util.Iterator;import java.util.List;import org.jdom.Document;import org.jdom.Element;import org.jdom.JDOMException;import org.jdom.input.SAXBuilder;import org.jdom

2011-03-04 11:16:00 555

原创 JDOM创建xml

import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import org.jdom.Document;import org.jdom.Element;import org.jdom.output.XMLOutputter;public class xmlCreater { public static void main(Str

2011-03-04 11:15:00 534

转载 iBATIS sqlMapConfig配置详解

<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE sqlMapConfig PUBLIC "-//ibatis.apache.org//DTD SQL Map Config 2.0//EN" "http://ibatis.apache.org/dtd/sql-map-config-2.dtd"><sqlMapConfig> <!-- <properties resource="prop

2011-01-27 12:57:00 833

原创 java配置文件property文件内容的修改

public void abc(String value) { String path = this.getClass().getProtectionDomain().getCodeSource() .getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/classes")); String propertyFilePath = rootPath + "

2010-12-16 12:01:00 3043 1

原创 java文件的写入和追加

/** * 日志文件的写入 * @param contects */ private void saveLogsToFile(String contects){ String path = this.getClass().getProtectionDomain().getCodeSource().getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/WEB-INF"))

2010-12-16 12:00:00 1988

转载 ibaits的JPetStore中持久层的研究、事务的处理

本文参考了 iBatis DAO入门与进阶（http://www.matrix.org.cn/resource/article/44/44058_iBatis+DAO.html） iBatis DAO事务探索（http://www.blogjava.net/RongHao/archive/2006/01/20/28817.html） 今天继续研究了JPetStore的持久层，其中由于看了一篇文章的误导，导致我对其中的事务处理深表怀疑。通过阅读源代码与看

2010-12-08 11:47:00 558

原创 tomcat访问优化，提高并发

系统发布使用的是tomcat6，发布的时候为了方便，把地图服务和web应用服务发布在一起了， 所以呢，在访问人数稍微多一些的情况下，就出现了页面访问速度慢，页面打不开的情况， 修改了tomcat的配置，然后发现情况好了很多，说明修改有效，记录下来。 server.xml <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="2000" minSpa

2010-12-06 10:11:00 2046

原创 dwr下A request has been denied as a potential CSRF attack.问题

最近换到了tomcat7，运行代码的时候发现问题了， 控制台所有的dwr请求都变成了：“A request has been denied as a potential CSRF attack” 所有的都不能访问，提示跨域访问问题，然后换回tomcat6，发现每一点问题， 网上查了半天，发现时dwr的问题 解决办法如下： 修改web.xml的dwr配置，： <listener> <listener-class> org.

2010-12-04 23:58:00 6457 3

原创 Java线程终止，避免使用stop

package Threadtest;/** * 停止线程的方法 * stop的方法已经不推荐使用了，为了适用以后的需要，还是得来好好的琢磨下thread中的interrupt方法 * @author Don Quixote * 2010-12-2 下午02:52:56 * Hello,Don Quixote! */public class ThreadTest extends Thread { public static void main(String[]

2010-12-02 15:24:00 1353

原创 Java线程中start和run方法的区别

public class TestThread1 { public static void main(String[] args) { Runner1 r = new Runner1();// r.run();//这是方法调用，而不是开启一个线程 Thread t = new Thread(r);// 调用了Thread(Runnable target)方法。且父类对象变量指向子类对象。 t.start(); for (int i = 0; i < 10000

2010-11-30 17:11:00 1691 1

原创 java的公共方法——对象自动匹配

package com.copote.shop.util;import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.Queue;import java.util.Set;/** * 一个公

2010-11-30 10:59:00 1187

原创个人积累的js的一些公共方法

/** * js中的一些公共的方法 * @Don Quixote **//** * js 数据的hash表结构 */ window.onerror=function(){ return true; }window.alert=function(){ return false;}function formatDateMonth(date){ var year = date.substr(0,4); var month = dat

2010-11-30 10:58:00 913

原创通过反射进行map和bean之间的互相转换

/** * 反射方法 * 将map转化为bean和将bean转化为map * @author Don Quixote * 2010-11-29 下午05:18:58 * Hello,Don Quixote! */public class PublicReflection { //忽略属性的大小写问题 //字段类型也只支持最基本的String，Integer，Long，Float，Double public static <T> T ChangeMapToS

2010-11-29 17:19:00 2736

原创 Oracle中根据Date型转换成Java对应的long型毫秒数

select sum((To_date(t.c_tjsj, 'yyyy-mm-dd hh24-mi') - 8/24 - To_date('1970-01-01', 'yyyy-mm-dd')) * 24 * 60*(t.n_cqrs-t.n_jlrs)) as timeSum, count(*) as msgSum,t.n_sbdh,sum(t.n_jlrs) as inSum,sum(t.n_cqrs) as outSum from t_rlsjb t wher

2010-11-27 21:44:00 2607

转载 WIN7安装ORACLE10所遇到问题的解决

ERROR 1 正在检查操作系统要求... 要求的结果: 5.0,5.1,5.2,6.0 之一 实际结果: 6.1 检查完成。此次检查的总体结果为: 失败 <<<< 问题: Oracle Database 11g 未在当前操作系统中经过认证。 建议案: 确保在正确的平台上安装软件。 ======================================================== 正在检查 Serv

2010-11-25 22:44:00 953

原创 Java接口泛型的嵌套实现

业务管理端增删改查的东西写得多了，懒得重复那么多的方法了，搞了一个最基本的接口来偷懒。

2010-11-25 11:30:00 2152

转载关于Java23种设计模式的有趣见解

创建型模式 1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：如何创建及如何向客户端提供。 2、BUILDER—MM最爱听的就是“我

2010-10-14 22:35:00 209

转载 DWR2.0的调用前拦截

每次调用dwr的方法前检查用户是否已经登录，否则就不能执行并且退到首页。 当然了，做拦截器有很多方式，但经过研究发现DWR自带很多插件，其中就有一个调用处理的插件。具体做法如下。 在web.xml里的DWR配置中加入一个参数：<init-param> <param-name> org.directwebremoting.extend.Remoter

2010-06-24 11:32:00 331

ext学习笔记（附带实例）

空空如也