2012年07月_fish_cool

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创关于hive的ClosedByInterruptException异常新动向3

通过这两天的不断研究源码，发现与这个相关的hadoop源码是DFSClient、DistributedFileSystem、JobInProgress、JobClient、JobTracker等与hive相关的源码是CliDriver、Driver、ExecDriver、TaskRunner、Task、MoveTask等。之前设置了暂停100毫秒的方式后，后来也测试出将严重影响MR运行的效

2012-07-31 17:16:57 2427

原创关于hive中文本存储格式与RCFile格式

之前因为为了完成业务逻辑，所以忽略了很多细节的处理，最近进行了RCFile格式与文本格式的处理。发现采用RCFile格式比之前的文本格式还慢，要598秒，如下图：而之前的格式，这个job运行完成在480秒左右。目前暂没看出RCFile任何明显的优势。不知道是否是没找到适合的使用场景。后来在网上看到，RCFile的写速度要慢与文本格式的写速度，说它的读速度高于文本格式

2012-07-31 13:57:34 2165 7

原创关于hive占用CPU100%问题跟踪

昨天晚上修改了过了代码后，今天早上再次出现了100%的情况，检查日志发现，还是因为ClosedByInterruptException异常导致。也就是说，并不是之前的那个循环导致。也就是再次证明了之前那种暂停方式，只是拖延了出现问题的频率，而不是从根本源头上得到解决。看来比较悲剧啊，还要继续关注此问题的处理，如有朋友知道，请告之解决方式。另外当出现NIO异常的时候，是什么原

2012-07-30 10:08:15 2154 4

原创关于hive运行脚本CPU占用率100%的情况

最近hive在运行的过程中，出现CPU 100%的情况还有，但是间隔时间较长了。之前出现这种情况是因为NIO的那个异常导致，如果中间空闲间隔较长，在这段时间内CPU会出现100%的情况。而现在出现这种情况，跟NIO异常无关，我已经在日志查找不到发送失败的日志了，而该100%的占用基本不会停止，只能强行kill掉，根据经验判断，一般CPU100%的情况多少是由于无限循环导致的（如果不信，大

2012-07-29 13:28:26 4362 2

转载走进Python: 为Python增加新语法

原文地址：http://eli.thegreenplace.net/2010/06/30/python-internals-adding-a-new-statement-to-python/译文地址：http://everet.org/2012/07/add-new-grammer-to-python.html译者：Stupid ET翻译得比较仓储，里面会有些语句不通顺

2012-07-27 09:45:51 2310

原创数据统计与挖掘的通用设计原则

目前已经在基于hadoop平台上做数据统计与挖掘快一年了，这里将对做数据统计时的一些通用设计要求做总结（跟业务无关）。以hive作为工具第一：优先考虑增量计算，其次考虑全量计算。第二：支持重算机制，简单地说就是当数据计算有误时，可以支持重算（也就是说这次的计算结果能正确覆盖上一次的结果）。第三：脚本编写并行化，如果脚本编写没有明显的上下关联的话，优先考虑并行化。第四：脚本中变化

2012-07-27 09:43:55 784

原创 erlang学习规划

最近因为hadoop的相关棘手问题缠绕了一个多月，对erlang也荒废了很久，现在要开始继续对erlang的深入了解，每天坚持1小时。

2012-07-26 22:34:21 933

原创关于hive的服务模式

最近也尝试了下hive的服务模式进行脚本调度。尝试此方式的目的有二：第一：是想知道是否避免出现了NIO异常的出现第二：就是增加了程序对脚本运行的控制性使用下来感觉：还是有NIO异常的出现。后者确实增强了对脚本的控制性，相关的异常报错信息都会在Client被捕获到，然后进行对应的应急措施。另外还发现了些新问题：关于hive的服务模式，还真不好说啊，在运行的过程中，有时候出

2012-07-19 11:51:58 1482

原创 thrift for python部署

安装这个是为了更方便的使用python操作hive。获取thrift，在linux命令下：wget http://labs.renren.com/apache-mirror/thrift/0.8.0/thrift-0.8.0.tar.gztar -xvf thrift-0.8.0.tar.gzcd thrift-0.8.0./configuremakesudo

2012-07-16 10:25:09 9249

原创 NIO异常新动向2

关于NIO这个异常报错，《 hadoop和hive结合使用总结（关于一个稳定性的问题）》博客里的几种方式，都不是很长久，差不多1-2天的时间就会出现问题了。在尝试过几种方式后，最终我采用了一种我认为很不好的一种方式但很简单，解决方式如下：在Client类里的sendParam方法增加了一段代码：out.flush();try { Th

2012-07-11 14:08:31 1089

原创 NIO异常新动向

该日志是最新的动向，就是创建了一个新连接，发送一个请求后，立马收到-1，服务器端主动关闭连接。(该日志信息有些内容是我自己加入的。) 2012-07-09 15:00:38,723 [pool-1-thread-23] DEBUG org.apache.hadoop.ipc.Server: Iteratorsun.nio.ch.SelectionKeyImpl@1847f9b22012

2012-07-09 17:42:42 627

原创 Client与Server交互的错误信息

以下是今天调整了相关日志信息后，再次捕获到的导致错误异常的日志信息。Client端日志信息： 2012-07-09 09:36:12,614 [Thread-181] DEBUG ipc.RPC (RPC.java:invoke(229)) - Call: setReplication 42012-07-09 09:36:12,614 [Thread-181] DEBUG ipc.

2012-07-09 10:07:51 2852

原创 hadoop和hive结合使用总结（关于一个稳定性的问题）

最近在外网试运行了一个月以来，hive在hadoop平台中的一个主要问题是：经常报此异常：org.apache.hadoop.ipc.Server: IPC Server handler 495 on 8020 caught: java.nio.channels.ClosedChannelException导致任务执行失败（每次任务失败，关闭的连接都是hive连接到hadoop的mas

2012-07-06 17:30:59 7134

原创错误日志

2012-07-05 20:03:54,671 DEBUG org.apache.hadoop.ipc.Server: Server connection from 192.168.2.20:51667; # active connections: 86; # queued calls: 02012-07-05 20:03:54,671 INFO org.apache.hadoop.ipc.S

2012-07-05 20:00:55 1298

原创 RPC调用问题

2012-07-05 17:28:11,695 DEBUG org.apache.hadoop.ipc.Server: Server connection from 192.168.2.20:53074; # active connections: 75; # queued calls: 02012-07-05 17:28:11,695 DEBUG org.apache.hadoop.ipc.

2012-07-05 18:12:33 1153

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01