2011年12月_fish_cool

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hive创建分区表问题

最近在使用hive的时候，metadata我是放在mysql（是５.5的版本）里的。当时mysql设置的字符集是utf８，正常创建表的时候，一切正常，当我进行创建分区表后，在使用的时候，就出现以下错误信息：FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-

2011-12-30 16:40:04 3908

原创 Process与ProcessImpl类源码解析

因为Runtime里的exec方法与这个类关联密切，所以这里对这个类进行了分析。之前在文章《System与Runtime源码解析》里已经简单说了下这个类的用途，可以想象成一个外部应用程序的代理对象。该类是个抽象类，目前java里只有一个实现类ProcessImpl类。Process抽象类里大致提供以下一个抽象方法：几个输入/输出流waitFor方法，用来等待外部程序运行完成(是

2011-12-30 11:09:30 7294

原创 hive 0.8运行python脚本问题

最近在hive上执行python脚本出现了以下问题，在hive命令行里，执行时报错信息如下：hive> from records > select transform(year,temperature,quality) > using 'python /user/hive/script/is_g

2011-12-29 15:11:13 3447 1

原创 HWI WAR file not found问题

在hive-site.xml里配置属性hive.hwi.war.file的值为：hive.hwi.war.filelib/hive-hwi-0.8.0.war

2011-12-27 15:38:07 1547

原创类加载器的应用

之前已经对类加载器的基本原理从代码的层面进行解析，那么现在开始初步简单的介绍下如果自定义类加载器。类加载的使用经常用到的方法如下：Thread.currentThread().getContextClassLoader().loadClass("类名");Class.forName("类名"); 最近在部署一个hadoop项目，相关资料整理放缓，请耐心等

2011-12-15 15:13:43 791

原创关于Object类里的本地方法registerNatives

为了加深对java本地方法的理解，在网上找到了该方法的C源码部分，如下：static JNINativeMethod methods[] = { {"hashCode", "()I", (void *)&JVM_IHashCode}, {"wait", "(J)V", (void

2011-12-14 14:34:26 7511

原创 System与Runtime源码解析

在类加载器里提到了System与Runtime类，这里就趁热打铁来对这两个源码进行解析，因为System与Runtime关联很紧密，所以就一起来解析吧。首先来看看System类提供的几个特性：1、standard input, standard output, and error output streams2、访问扩展属性和java的环境变量3、加载本地内库4、提供一个arr

2011-12-14 14:13:47 7229

原创 JVM类加载机制(ClassLoader)源码解析(3)

java的类加载器，还有一个特殊的功能，就是加载本地库。这个功能是与关键字native是有关系的。简单地说就是调用C++/C的本地库(windows是后缀为.dll，linux下是后缀为.so)。调用的地方是使用System这个类，其中有两个方法如下：load(String filename)loadLibrary(String libname)一个是根据文件名，一个根据lib

2011-12-13 19:00:30 6645

原创 JVM类加载机制(ClassLoader)源码解析(2)

我们来对defineClass这个方法进行解析，该方法比较复杂，首先如图：该方法主要是通过一个字节的数组，对该数据进行解析、验证、二进制码格式校验。通过抛出的ClassFormatError的这个异常来看，也是验证这个类的格式是否符合JVM的规范。最终是将一个字节数组转换成类实例（注意不是实例对象，是有区别的）。目前该方法已被替代，注意上图里的注释。目前新方法，如下图：

2011-12-13 15:21:21 7020

原创 JVM类加载机制(ClassLoader)源码解析(1)

其实JVM类加载机制，简单地说就是类管理，也就是我们生成的class文件。三个步骤：装载(load)、链接(link)、解析(Resolve)、还有初始化(Initialize)关于网上有很多讲解加载的方式，和调用的方式，还是几个基本的classLoader，这里就不在多描述了。这里更多的是从源码上来讲解，达到理论结合实际。首先是ClassLoader这个抽象类，这个是实现自定

2011-12-13 13:57:45 8178

原创 Postgresql客户端创建GIN索引问题

最近因为在使用全文检索功能，但是Navicat for PostgreSQL客户端无法看到GIN的索引类型，但是可以创建GIN类型索引。后来使用了EMS SQL Manager for PostgreSQL客户端后，发现可以看到GIN的索引类型，如图：然后再用Navicat for PostgreSQL客户端看到索引信息如下：这里是看不出来的，但是可以正常使用，所以大家

2011-12-07 16:17:40 2953

原创关于URL访问问题

最近模拟一个简单的爬虫方式，在基于java URL类时，抓取获取结果页，其中遇到这样的错误：Server returned HTTP response code: 403 for URL:而可以使用浏览器正确访问因为服务器的安全设置不接受Java程序作为客户端访问解决方案：设置User Agent即在HttpURLConnection conn=(HttpURLCo

2011-12-07 10:17:50 1272

原创 java开发2.0 Kilim初体验

把之前文章的例子写了一遍，发现还是某些地方需要注意下，嘿嘿首先是照着例子写一遍，不用多说，开发环境结构如图：然后在build.xml文件里写一段运行weaver的target，如图：这里需要注意的是，如果没有运行过这个weaver的话，直接运行Calculator类将报错，报错信息如下：这个target要注意classpath的元素配置，是与build.xm

2011-12-06 18:17:37 6283 4

转载 Java 开发 2.0: Kilim 简介

对于软件开发人员而言，调试多线程应用程序中的非确定缺陷是最痛苦的工作。因此，像大多数人一样，我钟爱使用 Erlang 和 Scala 等函数语言进行并发编程。Scala 和 Erlang 都采用了角色模型来进行并发编程，没有采用线程概念。围绕角色模型的创新并不仅限于语言本身，角色模型也可供 Kilim 等基于 Java 的角色框架使用。Kilim 对角色模型的使用非常直观，稍后您将看到，该

2011-12-06 16:38:07 1606 2

原创 postgresql中如何Kill掉正在执行的SQL语句

kill方式是杀掉进程，但是有时候需要取消相关SQL语句，采用以下方式：查看哪些SQL语句正在执行，语句如下：SELECT datname,procpid,query_start, current_query,waiting,client_addr FROM pg_stat_activity WHERE waiting='t';说明：datname表示数据库名procp

2011-12-06 15:08:11 21508

转载搜索引擎技术之概要预览

搜索引擎技术之概要预览前言近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引，查询，排序等等，更惊叹于每一幅精彩的架构图，特此，便有记录下来的冲动，以作备忘。本文从最基本的搜索引擎的概念谈起，到全文检索的概念，由网络蜘蛛，分词技术

2011-12-06 13:07:15 3046

原创 Postgresql之unlogged特性测试

最近测试下unlogged的特性，主要做了insert/update/delete三个操作的测试，测试结果如图：insert操作对比上图为非unlogged表测试结果。上图为unlogged表测试结果。update操作对比上图为非unlogged表测试结果。上图为unlogged表测试结果。delete操作对比上图为非unlogged

2011-12-05 18:04:26 1935 2

转载 ChartDirector与JreeChart这两款web图形报表工具比较

一、引言：我最近在做项目的时候，要用到图表，其中画图表工具有好多种，今天我们就对ChartDirector与JreeChart这2种学习和比较，掌握技术路径，即掌握安装配置方式，接口，调用方法，例子等。1.1 、下载了ChartDirector，挺简单的，照着提供的jsp的例子，改一下数据、横坐标内容就马上能运行了，提供的函数命名也很规范，一看大概就知道用途，挺好理解的，生成的图表

2011-12-05 11:47:55 2283

原创关于Postgresql实现内存表的体验

最近在关注如何在Postgresql实现内存表，我把之前的几种方式都测试了下。对之前的相关理解还是有问题的。第一种是直接将采用操作系统挂载成ramfs或tmpfs两种方式，我使用下来感觉，基本操作都很快，唯一的问题就是当linux重启后，用Postgresql客户端登录后，出现这样的情况，如图：另外我在使用ramfs的方式时，进行大量的写操作后，我突然kill掉Postgresql

2011-12-02 10:07:16 6951 4

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01