2012年11月_fish_cool

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hive产生动态分区太多导致的问题

过多的动态分区会导致job出现以下情况：org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maint

2012-11-28 23:21:55 13769

转载 Sqoop导入数据到MySql时的java.util.NoSuchElementException异常

报错信息：11/08/05 10:51:22 INFO mapred.JobClient: Running job: job_201108051007_001011/08/05 10:51:23 INFO mapred.JobClient: map 0% reduce 0%11/08/05 10:51:36 INFO mapred.JobClient: Task Id : attem

2012-11-28 16:22:28 3301

原创 hive开发UDF随记

开发UDF时，如果返回是自定义对象类型，是需要加上一个空的构造函数，不然相关的重载构造方法将无法正常使用。会抛出：NoSuchMethodException异常出来。在编写UDAF的时候，使用到DoubleWritable类型，要引用(org.apache.hadoop.hive.serde2.io包下的类)，在此包下有四个类分别为：ByteWritable、DoubleWritabl

2012-11-28 16:19:44 1101

翻译 jrockit R28参数说明列表2

2 -X Command-Line OptionsThis chapter is an alphabetically ordered reference for all the -X command-line options that you can use with the JRockit JVM.The -X command-line options are exclusive to

2012-11-27 15:59:46 2653

翻译 jrockit R28的参数说明列表

3 -XX Command-Line OptionsThis chapter describes the -XX command-line options of Oracle JRockit JVM; these options are all prefixed by-XX.To implement some of the options, specific system requir

2012-11-27 15:58:17 3019

转载 Cannot convert value '0000-00-00 00:00:00' from column 1 to TIMESTAMP .

最近在从mysql导入数据时，发现有些记录无法导入。原因是无法转换0000-00-00 00:00:00的时间格式，在网上搜了下，用此方式可以解决问题。在Mysql数据库中使用DATETIME类型来存储时间，使用JDBC中读取这个字段的时候，应该使用 ResultSet.getTimestamp()，这样会得到一个java.sql.Timestamp类型的数据。在这里既不能使用 R

2012-11-27 15:31:50 2429

原创 jrockit之-XXexitOnOutOfMemory参数

最近在测试使用此参数的效果时，发现此参数无效。报错信息如下：[hadoop@slave8 ~]$ java -Xms:1536m -Xmx:1536m -Xns:128m -XgcPrio:pausetime -XXexitOnOutOfMemoryUnknown option or illegal argument: -XXexitOnOutOfMemory. Please chec

2012-11-27 10:53:39 1995

Exception in thread "communication thread" Exception in thread "Thread for syncLogs" Exception in thread "Timer for 'ReduceTask' metrics system" Exception in thread "LeaseChecker" java.lang.OutOfMemor

2012-11-24 01:12:06 2501

转载 Postgresql常用查看锁语句

可以通过以下SQL查询出所有的catalog view：SELECT n.nspname as "Schema",c.relname as "Name",CASE c.relkind WHEN 'r' THEN 'table' WHEN 'v' THEN 'view' WHEN 'i' THEN 'index' WHEN 'S' THEN 'sequence' WH

2012-11-23 14:14:31 9443

原创最近hadoop集群维护有感

还没开始写，就有朋友给我评论，总结的简单精辟。不过再怎么困难，填坑的事情，必须有人来做，对公司和对个人都是有益的。最近折腾一个多礼拜，总算又让hadoop稳定了。我这里主要总结下是两个方面（我这里所指的维护范围更广泛）：第一：是运维第二：是开发首先说下运维，在一年的使用中，由于操作系统设置不当所导致的各种异常情况，我都碰到了，而且解决的方案都很简单。对于多数问题来

2012-11-23 07:21:00 3703 2

原创关于Resource temporarily unavailable in tsStartJavaThread

解决方案（备案）：进程设置限制，修改第二个文件。 /etc/sysctl.conf /etc/security/limits.conf目前已经发现集群里这批机器都没设置，将测试下。在第二个文件里，增加设置内容如下：* soft nproc 131072* hard nproc 131072如果修改无效，必须将这个文件的内容（/etc/security/l

2012-11-22 21:19:53 1957

转载 /proc/pid/status详解

Name 应用程序或命令的名字 State 任务的状态，运行/睡眠/僵死/ SleepAVG 任务的平均等待时间(以nanosecond为单位)，交互式任务因为休眠次数多、时间长，它们的 sleep_avg 也会相应地更大一些，所以计算出来的优先级也会相应高一些。Tgid 线程组号 Pid 任务ID Ppid 父进程ID TracerPid 接收跟踪该进程信息的进程的ID号

2012-11-22 11:31:52 2477

转载 Linux查看内存分配情况的几种方法

top free vmstat /proc/meminfo /proc//statm /proc//status/proc//maps

2012-11-22 11:24:32 10195

原创 hadoop运行随记4

Exception in thread "Thread for syncLogs" java.lang.OutOfMemoryError: getNewTla at java.lang.StringCoding$StringEncoder.encode(StringCoding.java:232) at java.lang.StringCoding.encode(StringCoding.ja

2012-11-20 07:28:27 2015 8

原创 hadoop运行随机3

最近集群运行日志发现，有个任务运行出现下面的报错信息：org.apache.hadoop.io.SecureIOUtils$AlreadyExistsException: EEXIST: File exists at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:167) at org.apac

2012-11-19 11:14:02 1953 4

原创 jrockit相关参数列表

-X的命令列表：-Xbootclasspath-Xbootclasspath/a-Xbootclasspath/p-Xcheck:jni-Xdebug-Xgc-XgcPrio (deprecated)-XlargePages-Xmanagement-Xms-Xmx-XnoClassGC (deprecated)-XnoOpt-Xns-XpauseTarget-Xrs-Xss-Xstrict

2012-11-14 15:42:15 2051

翻译 Jrockit之Understanding JIT Compilation and Optimizations

This section offers a high-level look at how the Oracle JRockit JVM generates code. It provides information on JIT compilation and how the JVM optimizes code to ensure high performance. This section

2012-11-13 11:27:50 902

原创 hadoop运行随记2

Exiting due to:java.lang.OutOfMemoryError: Resource temporarily unavailable in tsStartJavaThread (lifecycle.c:1096).Java heap 1000M reserved, 64M committedPaged memory=18014398494602108K/53350396K

2012-11-09 07:42:50 1672

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01