2013年01月_fish_cool

12月 11月 10月 09月 08月 05月 04月 03月 02月 01月

原创节点web页面报404错误

最近年前集群事情真多，出现了web页面无法浏览一个节点的问题。如下图：当前节点下面出现了一个build目录。里面有org/apache/hadoop这样的目录导致browseDirectory.jsp查找不到，删除目录，重启服务后，问题解决了。还好此问题是开发环境出现。

2013-01-29 15:28:38 1058

原创 hadoop之java.net.NoRouteToHostException: No route to host

今天有同事在搭建另一个hadoop集群的时候，又出现了此问题，很简单。这里简单做个笔记。就是防火墙没关闭的问题导致。但是一定要注意：要切换成root用户才能有效关闭防火墙。如下图：

2013-01-29 15:21:39 10114

原创 namenode的机器也变成了tasktracker节点

今天因为比较紧急事情，不得已重启了集群，在一段时间后，通过打开web的50030的端口，发现master机器莫名其妙的成了一个tasktracker节点，但是检查过master的配置，确实没有将master配置成tasktracker的信息。很奇怪，见下图：

2013-01-28 16:38:39 845 2

原创今天运行hive导致sql运行不起来

今天出现了一个怪问题，就是hive在运行几个SQL的时候，始终无法正常运行，导致方法阻塞，然后CPU也100%。通过打印几个进程的方法栈发现："Thread-8" id=20 idx=0x50 tid=3647 prio=5 alive, native_blocked at org/apache/hadoop/mapred/lib/CombineFileInputFormat.g

2013-01-28 16:16:58 1864 10

原创 free命令复习

最近系统学习liunx相关的命令，方便未来解决更多有深度的问题。第一行和第二行都是查看内存使用情况，只是角度不同。第一行是从操作系统(OS)的角度来看第二行是从应用程序角度来看在第一行中有个公式：total=used+free在第二行中有个公式：used2=used1-buffer1-cached1

2013-01-21 16:48:56 716

翻译 buffer和cache定义

A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.

2013-01-21 16:28:35 574

转载 5种调优Java NIO和NIO.2的方式

NIO和NIO.2对于Java平台最大的贡献是提高了Java应用开发中的一个核心组件的性能：输入/输出处理。不过这两个包都不是很好用，并且它们也不是适用于所有的场景。如果能够正确地使用的话，Java NIO和NIO.2可以大大减少一些常用I/O操作所花的时间。这就是NIO和NIO.2所具有的超能力，我会在这篇文章里向你展示5种使用它们的简单方式。变更通知（因为每个事件都需要一个监听

2013-01-18 14:50:57 2272

翻译 note What Every Programmer Should Know About Memory

AbstractAs CPU cores become both faster and more numerous, the limiting factor for most programs is now, and will be for some time, memory acces.Hardware designers have come up with ever more soph

2013-01-17 11:48:46 660

原创 top命令复习

最近在查些疑难杂症时，对liunx的相关系统命令使用不很熟悉，还是在一个网友帮忙下，发现top命令中有些我还不会用，所以又对top命令进行复习。使用如下截图：各部分情况：3个用户，load average: 任务平均长度，三个数值分别为1、5、15分钟前到现在的平均值tasks：总共有156个进程，1个进程在运行，154个进程在休眠，0个停止进程，1个僵尸进程分别显

2013-01-16 14:05:01 543

原创 liunx管道技术笔记

信号和消息的区别我们知道，进程间的信号通信机制在传递信息时是以信号为载体的，但管道通信机制的信息载体是消息。那么信号和消息之间的区别在哪里呢？首先，在数据内容方面，信号只是一些预定义的代码，用于表示系统发生的某一状况；消息则为一组连续语句或符号，不过量也不会太大。在作用方面，信号担任进程间少量信息的传送，一般为内核程序用来通知用户进程一些异常情况的发生；消息则用于进程间交换彼此的数

2013-01-15 17:22:54 504

原创 Apache Portable Runtime部署

[root@master avro_svn]$ wget http://apache.etoak.com/apr/apr-1.4.6.tar.gz[root@master avro_svn]$ tar -zxvf apr-1.4.6.tar.gz[root@master avro_svn]$ cd apr-1.4.6[root@master apr-1.4.6]$ ./config

2013-01-10 16:46:19 1004

原创 jrockit的jstat

关于分析命令jstat（跟sun的那个命令一样），用法很简单。这里做个简单摘要，如图：通过命令jstat -options可得到需要分析的指标，一般我都是分析GC，例如：jstat -gc 1s 1表示对当前的进程进行1秒一次采样。更多详细的内容，可以参考jrockit官方文档。

2013-01-10 10:59:16 2584

原创 jrockit的dump操作简介

jrockit的dump命令很简单，如果不熟悉。先使用命令：jrcmd help得到相关的options。然后使用选项hprofdump，使用此参数需要注意，应该使用这样的命令形式：jrcmd hprofdump filename=/home/hadoop/test.hprof如图：需要带上filename这个参数，不然不知道生成文件存放路径（另外需要绝对路径），我

2013-01-10 10:52:35 4228

原创 Memory Analysis内存分析工具复习

最近因为系统问题，所以又对Memory Analysis工具进行复习（for eclipse的）通过dump出来的文件，然后在eclipse上用Memory Analysis工具（可以在线安装很简单）内存泄漏查找思路一：打开Leak Suspects->Problem Suspect N下的“Details”打开此页面后，有几个内容：1、引用累计关系（shortest path

2013-01-09 10:59:47 3343 1

翻译 Using jstat with BEA JRockit

使用jrockit使用jstat命令的用法很简单，在liunx下使用jstat -help命令就能了解，这里不多解释，这里只是将各统计参数的说明发布下。 Statistics Options and OutputThe following table lists all available statistical options, statOption, when usin

2013-01-09 10:53:20 1758

原创 hive占用CPU100%2

今天又再次出现了CPU100%的情况（严格来讲是4个CPU都被占满了达到了400%）通过剖析当前进程发现，有7个线程全部堵塞在HashMap.getEntry这个方法上面，部分thread运行信息如下：18326:===== FULL THREAD DUMP ===============Tue Jan 8 09:40:49 2013Oracle JRockit(R) R28

2013-01-08 10:56:47 3607 9

原创运行jrockit的jrcmd常见问题

虽然jrcmd使用来剖析当前的java进程，但是在使用过程中，还是会碰到点小问题了。报错信息：Unable to open socket file: target process not responding or HotSpot VM not loaded如图：这是因为我是root用户在查看，但是12002这个进程，我是用hadoop用户启动。所以想要正确看到，需要切换到ha

2013-01-07 17:10:05 8754 1

原创使用JRockit JVM剖析当前进程

jrockit用一个命令就可以进行相关的处理。jrcmd命令（不像SUN的，使用其他命令来区分）附录：(Sun JDK) -Xmn, -XXNewSize, -XXMaxNewSize —-> (JRockit) -Xns(Sun JDK) -XX:+UseConcMarkSweepGC —-> (JRockit) -Xgc:sin

2013-01-07 16:41:06 4018

原创关于liunx开机启动配置

两种方式：一种：chkconfig mysql on一种是修改/etc/rc.local文件

2013-01-06 15:25:05 497

原创 hive占用CPU100%

最近又再次碰到了hive占用CPU100%的情况。通过ganglia发现是用户进程占用率高（而并非系统进程）如图：待查中…… 关于此问题，要对当前的进程的栈情况进行了解，需要重温下jrockit如何剖析stack的情况了。参考文章：使用JRockit JVM剖析当前进程

2013-01-06 13:40:12 1356 5

原创 hive使用压缩时出现的问题

最近在使用BZ压缩时，发现job运行的Map数太多（有些已经达到了上万个map数，这是不正常的。），生成的压缩文件很多，而且每个压缩文件就0.34KB到1MB多不等。正在查明产生原因。

2013-01-01 16:00:37 885

原创 hive删除包含较多分区表有错误

最近有同事在对包含很多分区的表做删除操作(drop table)时，报了OutOfMemory的异常，在hive中无法删除。通过查找资料发现，是个BUG。据说在0.10.0版本进行了修复，详见：https://issues.apache.org/jira/browse/HIVE-2907不过我将尝试下自己修正这个问题。解决方案：通过对此issue的了解，因为hive默认的

2013-01-01 15:56:13 3462 8

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

领域建模设计领域建模设计

领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计

2009-03-06

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01