分布式应用与服务器架构专栏

原创 关于hadoop的java.nio.channels.ClosedByInterruptException

关于java.io.IOException: Call to master/10.200.187.77:8020 failed on local exception: java.nio.channels.ClosedByInterruptException异常问题，最近将hadoop的日志改成DEBUG模式，进行仔细分析，以下日志报错信息截取部分：注意红色字体部分：就是这个信息关闭了77:

原创 调试dfsadmin里的report查询机制

将日志信息改成DEBUG模式，这样就能知道hadoop里RPC里Client的相关交互机制了。下面是以hadoop dfsadmin -report这个命令作为示例 [hadoop@master bin]$ hadoop dfsadmin -reportWarning: $HADOOP_HOME is deprecated.12/06/28 14:04:06 DEBUG ipc

转载 hive启动错误

hive部署完成后，运行bin/hive命令进入hive的客户端，执行show databases;时出错：hive> show databases;FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught.NestedThrowables:java

原创 关于sdparm命令的使用

关于sdparm的使用，参考过相关资料后，发现sdparm的命令并没有什么需要设置IO32模式和DMA模式的参数项。

原创 hive使用新的总结

最近在使用hive的时候，出现了新的问题：1、hive在运行时，正常提交作业后，map/red没调度起来（出现了CPU 100%的情况）如下图：注意进程号16013这个就是hive的进程。 2、hive运行的时候，还是会出现nio的错误，3、jps查看到Child进程（实际是该进程已经运行完毕），但kill的时候，该进程却不存在4、hive的job运行完毕，但表里的

原创 memory bandwidth benchmark部署

到这个网站下去下载内存带宽测试工具 http://ahorvath.home.cern.ch/ahorvath/mbw/ 建议下载rpm的包，这样安装完成后使用比较方便。 [root@master soft]# mbw -q -n 1 2560       Method: MEMCPY  Elapsed: 0.10434        MiB: 256.00000  Copy:

原创 关于yum默认下载路径

最近在进行SATA的读写优化，需要安装sdparm这个命令来测试下优化的效果。安装很简单，运行命令：yum install sdparm因通过yum命令下载包后，需要进行整理后，安装到外网环境中所以需要yum的下载路径。第一步知道yum相关位置，使用如下命令：[root@slave1 packages]# whereis yumyum: /usr/bin/yum /

原创 hadoop3个节点CPU运行截图

原创 Python for RabbitMQ 部署

首先要按照easy_install此工具，对python开发人员来说，非常强大，方便开发人员安装各种第三方库。关于easy_install的安装，在python for mysql的博客里有提到，大家可以去参考下。这里直接说python for RabbitMQ的安装部署命令。 python有三种方式连接RabbitMQ。这里介绍用pika，因为官方教程里都是用pika作为操作教程

原创 hadoop Capacity Scheduler调度器使用体验

按之前的一篇文章配置完成后，如下如图：  目前三个hadoop默认的调度器都经过了测试。发现如果要让hadoop运行稳定，还是需要Capacity Scheduler调度器。另两个FIFO调度和Fair Scheduler调度还是不太适合生产环境下的。补充：这几天测试了上亿的数据发现，Capactity Scheduler运行太慢了。 目前正在进行Capactity

原创 hadoop开发环境体验

我是基于hadoop-1.0.3的版本进行的。如果部署成功，那么将看到HDFS的文件路径和运行的JOB情况。如下图：文件路径情况：后面将进行自定义的map/reduce的开发步骤。