自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

分布式应用与服务器架构专栏

成为分布式领域的专家

  • 博客(11)
  • 资源 (38)
  • 收藏
  • 关注

原创 关于hadoop的java.nio.channels.ClosedByInterruptException

关于java.io.IOException: Call to master/10.200.187.77:8020 failed on local exception: java.nio.channels.ClosedByInterruptException异常问题,最近将hadoop的日志改成DEBUG模式,进行仔细分析,以下日志报错信息截取部分:注意红色字体部分:就是这个信息关闭了77:

2012-06-28 14:57:05 18332 2

原创 调试dfsadmin里的report查询机制

将日志信息改成DEBUG模式,这样就能知道hadoop里RPC里Client的相关交互机制了。下面是以hadoop dfsadmin -report这个命令作为示例 [hadoop@master bin]$ hadoop dfsadmin -reportWarning: $HADOOP_HOME is deprecated.12/06/28 14:04:06 DEBUG ipc

2012-06-28 14:01:05 2386

转载 hive启动错误

hive部署完成后,运行bin/hive命令进入hive的客户端,执行show databases;时出错:hive> show databases;FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught.NestedThrowables:java

2012-06-25 16:21:24 1712 1

原创 关于sdparm命令的使用

关于sdparm的使用,参考过相关资料后,发现sdparm的命令并没有什么需要设置IO32模式和DMA模式的参数项。

2012-06-22 13:19:45 7232

原创 hive使用新的总结

最近在使用hive的时候,出现了新的问题:1、hive在运行时,正常提交作业后,map/red没调度起来(出现了CPU 100%的情况)如下图:注意进程号16013这个就是hive的进程。 2、hive运行的时候,还是会出现nio的错误,3、jps查看到Child进程(实际是该进程已经运行完毕),但kill的时候,该进程却不存在4、hive的job运行完毕,但表里的

2012-06-21 18:51:12 4438 4

原创 memory bandwidth benchmark部署

到这个网站下去下载内存带宽测试工具 http://ahorvath.home.cern.ch/ahorvath/mbw/ 建议下载rpm的包,这样安装完成后使用比较方便。 [root@master soft]# mbw -q -n 1 2560       Method: MEMCPY  Elapsed: 0.10434        MiB: 256.00000  Copy:

2012-06-20 15:47:35 1750 2

原创 关于yum默认下载路径

最近在进行SATA的读写优化,需要安装sdparm这个命令来测试下优化的效果。安装很简单,运行命令:yum install sdparm因通过yum命令下载包后,需要进行整理后,安装到外网环境中所以需要yum的下载路径。第一步知道yum相关位置,使用如下命令:[root@slave1 packages]# whereis yumyum: /usr/bin/yum /

2012-06-20 11:02:34 8799

原创 hadoop3个节点CPU运行截图

2012-06-15 14:44:46 1605 1

原创 Python for RabbitMQ 部署

首先要按照easy_install此工具,对python开发人员来说,非常强大,方便开发人员安装各种第三方库。关于easy_install的安装,在python for mysql的博客里有提到,大家可以去参考下。这里直接说python for RabbitMQ的安装部署命令。 python有三种方式连接RabbitMQ。这里介绍用pika,因为官方教程里都是用pika作为操作教程

2012-06-13 16:59:40 2225

原创 hadoop Capacity Scheduler调度器使用体验

按之前的一篇文章配置完成后,如下如图:  目前三个hadoop默认的调度器都经过了测试。发现如果要让hadoop运行稳定,还是需要Capacity Scheduler调度器。另两个FIFO调度和Fair Scheduler调度还是不太适合生产环境下的。补充:这几天测试了上亿的数据发现,Capactity Scheduler运行太慢了。 目前正在进行Capactity

2012-06-13 13:20:38 1139

原创 hadoop开发环境体验

我是基于hadoop-1.0.3的版本进行的。如果部署成功,那么将看到HDFS的文件路径和运行的JOB情况。如下图:文件路径情况:后面将进行自定义的map/reduce的开发步骤。

2012-06-11 12:47:07 782

Java Management Extensions

JMX可以用来管理网络,设备,应用程序等资源,当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

标准建模语言UML教程

UML即统一建模语言,是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构 卷3:资源管理, 之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1,SWT学习教程

2008-12-09

系统分析与设计技术(软考用书)

系统分析与设计技术(资料非常珍贵 很全面 张友生的)

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构 卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM,是完整版的,上次只传了部分,给大家带来不便。

2008-11-22

面向模式的软件体系结构 卷1

面向模式的软件体系结构 卷1:模式系统,好东西

2008-11-13

面向模式的软件体系结构 卷3

面向模式的软件体系结构 卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构 卷2:并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容,并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整,java编程更高效

2008-07-01

JNDI教程

JNDI(Java Naming and Directory Interface)教程

2008-04-19

java JVM standard

JVM的规范介绍,可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01

iPhone Open Application Development

Certain technologies bring out everyone's hidden geek, and the iPhone did so instantly upon its release.

2010-01-30

Database Porgramming With Jdbc And Java 2nd Edition

OReilly - Database Porgramming With Jdbc And Java 2nd Edition

2009-11-07

j2me_in_a_nutshell

j2me_in_a_nutshell,j2me_in_a_nutshell

2009-10-23

Java™ Performance and Scalability Volume 1

Java™ Performance and Scalability Volume 1: Server-Side Programming Techniques

2009-10-08

Learning.Python.3rd.Edition

o'reilly Learning.Python.3rd.Edition

2009-09-20

Pattern.Oriented.Software.Architecture.Volume.4

Pattern.Oriented.Software.Architecture.Volume.4 Pattern.Oriented.Software.Architecture.Volume.4

2009-09-05

Game.Programming.with.Python.Lua.And.Ruby

Game.Programming.with.Python.Lua.And.RubyGame.Programming.with.Python.Lua.And.Ruby

2009-08-25

Parsing Techniques - A Practical Guide

Parsing Techniques - A Practical Guide Parsing Techniques - A Practical Guide

2009-08-15

Modern Compiler Implementation in Java Second Edition

Modern Compiler Implementation in Java Second Edition Modern Compiler Implementation in Java Second Edition

2009-08-09

Thinking in C++

Thinking in C++ Thinking in C++ Thinking in C++

2009-07-25

Erlang程序设计语言

本书是讲述下一代编程语言Erlang 的权威著作

2009-07-15

Python数据结构与算法

Python数据结构与算法Python数据结构与算法

2009-07-15

Garbage Collection Algorithms For Automatic Dynamic Memory Management

Garbage Collection Algorithms For Automatic Dynamic Memory Management

2009-04-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除