2012年02月_fish_cool

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 liunx修改文件句柄数

命令ulimit -n是查看句柄数修改文件/ect/security/limit.conf里的内容进行修改。格式如下：# /etc/security/limits.conf##Each line describes a limit for a user in the form:## ##Where:# can be:#

2012-02-28 10:06:11 1275 2

原创服务与接口的区别

最近在复习网络相关知识时，看到服务与接口的概念。其中说到一点TCP模型的不足之处，就是TCP/IP模型里的其中一层是网络接口层，此接口层不同于正常意义的层，仅仅只是接口而已。以前看的时候，并没注意到这个差别，现在细想起来，所谓接口，其实简单的提供上层调用，然后下层去实现。而服务，看似跟接口差不多，也是提供相关接口供上层调用，但是服务会去自己实现相关的处理，而不是简单的调用方法的跳转，不

2012-02-27 18:28:02 11904

转载 hadoop Capacity Scheduler 完整配置

配置hadoop的调度器和队列（目前没用过，先放着，以备后患）mapred-site.xmlmapred.job.tracker0.0.0.0:9003mapred.jobtracker.taskSchedulerorg.apache.hadoop.mapred.CapacityTaskScheduler

2012-02-23 15:55:35 3554

原创 hive运行时Job initialization failed: java.io.IOException: Filesystem closed

最近运行一次读多次写的hiveSQL语句出现了一个新问题，如图：在hadoop的mapreduce管理页面里，报错如下信息如图：目前暂时无解中……………………奇怪同一个SQL语句出现如此问题，有待观察！对于此问题，是因为Filesystem 是一个single 对象，当设置了JVM重用这个参数后，那么就会出现之前一个任务运行完成后，会关闭这个Filesystem，

2012-02-22 17:39:11 8041

原创 hadoop清理回收站

Hadoop回收站trash，默认是关闭的。修改conf/core-site.xml,增加 property> name>fs.trash.intervalname> value>3value> description>Number of minutes between trash checkpoints. If zero, the tras

2012-02-21 16:08:52 13076

原创 hive运行报Call to master/. failed on local exception: java.nio.channels.ClosedByInterr

最近在运行hive任务时，会很频繁的报此错误信息，如下：原因是连接不上namenode的8020端口，此端口是hdfs的端口配置，导致原因如下：就是运行一个SQL语句一次读6次写入不同表的任务导致。解决方式：将该SQL语句，进行拆分。测试5次后，不再出现这种情况。目前该问题还没得到彻底解决。等待…………通过几天的观察发现，与IPC的相关参数设置有关，通过查看hado

2012-02-20 14:29:25 5842 4

原创 hive使用心得

最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了)，当时使用的0.8的版本（现在最新版本是0.8.1），一个多月下来收获很多。从安装环境、调试、开发、业务理解、技术攻关、业务实现等，一一都体验了一把！总的来说，除了目前网上所介绍的常规hive使用和优化外。因为目前hive只支持0.20的相关版本，所以我们的环境还是使用的0.20版本的hadoop来进行搭建。使用hiv

2012-02-18 11:45:06 23200 11

转载 MySQL创建用户与授权

一, 创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明:username - 你将创建的用户名, host - 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost, 如果想让该用户可以从任意远程主机登陆,可以使用通配符%. password - 该用户的登陆密

2012-02-14 13:18:43 84 1

原创关于hadoop配置hosts文件的问题

在之前的一篇blog里，写到我的python脚本无法正常运行，后来是修改了hosts文件，今天有个同事又重新讲解了下问题，发现之前的理解有误差。这里在介绍一下另外一种方式，就是在每台机器的hosts文件增加全部的主机名和IP地址。对应linux系统，修改/etc/hosts文件，在全部hadoop环境下的全部机器都增加机器名和IP地址，内容如下：10.200.187.77

2012-02-14 11:23:59 7292 4

原创 hive的优化方式

hive相关优化方式：Column PruningAs name suggests -discard columns which are not needed> select a,b from t where e>t contains 5 columns (a,b,c,d,e)Columns c,d are discardedSelect only

2012-02-13 10:45:37 5067

原创关于java并行程序开发重点

最近在运用hadoop做分布式运算，随便也对java的并行计算框架进行复习，特总结下心得。java的并行计算框架就是Fork/Join模式，关于使用模式很简单，这里主要是关注相关关键因素。第一就是Times，运行的次数，每秒运行次数。第二就是speedups和task rates，就是加速度和每秒执行任务频率。第三就是Garbage Collection，就是GC回收效率。第四

2012-02-06 16:24:59 2798 8

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

领域建模设计领域建模设计

领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计

2009-03-06

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01