2013年09月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hadoop 0.23 性能笔记

转自: http://space.itpub.net/25548387/viewspace-734325 Cloudera 的Hadoop World上看到的这个PPT: Hadoop and Performance,介绍了一些现在0.20 和0.23 版本性能优化的技巧，这里做个笔记 Hadoop 性能误区Java 很慢 Hadoop 主要的瓶颈在磁盘IO 或者网络传输上

2013-09-30 19:24:49 772

原创设置jmx远程监控

配置默认取消认证和监控端口:export HADOOP_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NA

2013-09-30 17:06:41 1380

转载 Linux下管理员强行踢出用户的命令使用方法

Linux强制踢出用户命令：一、输入w命令查看已登录用户信息[root@KW_S01_192.168.1.106_A ~]# w 19:22:31 up 2:11, 3 users, load average: 0.00, 0.00, 0.00USER TTY FROM LOGIN@ IDLE JCPU

2013-09-28 18:58:14 693

转载 OSDI, SOSP与美国著名计算机系的调查

【序言】按照USnews的分类，Computer Science被分为四个大类：AI, Programming Language, Systems, Theory.。毫无疑问，Systems是这四个大类中最要紧也是最大的一个。根据citeseer在2003年5月排出的所有计算机学科会议和期刊的影响因子排名[1]，在前十位中的属于Systems的有7个，在前15个中占据了11个。

2013-09-26 22:12:06 765

转载关于TaskAction

转自: http://flyingdutchman.iteye.com/blog/1877214在本节中，我们特别来学习一些有心跳(HeartBeat)的相关知识，这包括用途、心跳的发送、接收和应答。 JobTracker和TaskTracker之间是通过心跳来进行信息沟通的，TaskTracker通过周期性的通过心跳向JobTracker汇报该节点和任务的状态。

2013-09-24 15:03:33 1601

转载 POSIX标准, PThread和OpenMP

POSIX 表示可移植操作系统接口（Portable Operating System Interface ，缩写为 POSIX 是为了读音更像 UNIX）。电气和电子工程师协会（Institute of Electrical and Electronics Engineers，IEEE）最初开发 POSIX 标准，是为了提高 UNIX 环境下应用程序的可移植性。具体的说 P

2013-09-23 21:53:16 1606

原创 linux 死机

/var/log/messages —— rp 爆发的时候，也许会记录下很多相关信息。按照时间戳查找。回溯操作 —— 回忆 Kernel Panic 之前所做的所有事，并回滚。（如安装了某个程序，可以在 /var/log/pacman.log 找到安装日志）Dump 信息 —— 屏幕输出信息是系统最后的“遗言”，请使用数码相机或者笔纸记录。（tty only）接下来就应该根据错误发

2013-09-22 15:33:33 794

转载 log4j 输出信息参数配置

转自: http://baike.baidu.com/link?url=T-72J2V67NmFGjM05MjcCV8cHM9o-vNvfaRvwmXOsnGdNeTPy__YoShpPa-3eX1Xlog4j.appender.stdout.layout.ConversionPattern= [QC] %p [%t] %C.%M(%L) | %m%n如果使用pattern布局就要

2013-09-20 23:24:43 1051 1

转载我的美国CS面试经验分享

过去的一年多里，参加了一些面试，虽然面过的公司不多，但都从头一直走到尾。毕竟自己也是花了大量的时间和精力在这一场场的面试里。所以，就絮叨下自己的一些经验，希望能给在美国找实习找工作的同学们提供一点点帮助。开始前的一些说明：1. 笔者只是一介小本科，虽然留了学，但是留了级，学识浅薄，目光短浅，文章若有不恰之处，恳请各位大牛不吝指正！2. 笔者面试的岗位均为Softw

2013-09-19 11:04:07 775

转载线程同步

1、同步代码块synchronized(obj){...} 括号里的obj就是同步监视器线程开始执行同步代码块前，必须先获得对同步监视器的锁定，执行结束后自动释放对同步监视器的锁定2、同步方法使用synchronized修饰的方法，无须显示指定同步监视器，同步方法的同步监视器是this1）不要对线程安全类的所有方法都进行同步，只对那些会改变竞争资源的方法进行同步2）单线程环

2013-09-19 10:58:11 671

原创 log4j配置文件追加记录

// log4j.rootLogger = [ level ] , appenderName, appenderName, … // appenderName是输出源的名字，它指定日志信息输出到哪个地方，如配置控制台输出,: log4j.rootLogger=WARN, Console log4j.appender.Console=org.apache.log4j.ConsoleAp

2013-09-19 09:55:35 1009

原创 log4j:WARN No appenders could be found for logger

解决, 在log4j.properties下面添加代码:log4j.rootLogger=WARN, Consolelog4j.appender.Console=org.apache.log4j.ConsoleAppenderlog4j.appender.Console.layout=org.apache.log4j.PatternLayoutlog4j.appen

2013-09-19 09:43:14 892

转载 JDK之jstat的用法

转自: http://www.51testing.com/html/92/77492-203728.htmljstat的用法用以判断JVM是否存在内存问题呢？如何判断JVM垃圾回收是否正常？一般的top指令基本上满足不了这样的需求，因为它主要监控的是总体的系统资源，很难定位到java应用程序。Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Mac

2013-09-18 20:56:36 664

转载 PBS作业调度应用与说明

转自： http://blog.sciencenet.cn/blog-355217-464900.htmlPBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作

2013-09-17 15:54:38 9484 2

原创 hadoop 函数阅读笔记之releaseSlot()

TT上的资源释放:/** * 该函数在任务被杀掉和任务结束的时候被调用(kill和reportTaskFinished ),比如在kill task时: * 如果该任务已经占据了这个slot,首先增加free slot的总数目，通知所有等待在free slot上的线程并将slotTaken置否, * 如果该任务忆还没有占据该slot,直接通知所有等待在free slot上

2013-09-17 11:53:02 679

原创数组初始化

有时候总是忘，记在这里:一般比较好的写法是声明的时候就进行初始化，Java :int[] a=new int[5] ；C:可以用初始化列表进行初始化。如 int a[1000]={0};是把a的所有元素初始化为0C++:定义： int *pia = new int[10]; // array of 1

2013-09-17 08:57:03 923

原创 hadoop 测试

MRBenchmark.0.0.2Usage: mrbench [-baseDir ] [-jar ] [-numRuns ] [-maps ] [-reduces ] [-inputLines ] [-inputType ] [-verbose][liuqiang@node01 hadoop-1.0.3]$ hadoop jar hadoop-test-1.0

2013-09-14 15:52:50 1122

转载 Linux 进程状态说明

转自: http://blog.csdn.net/tianlesoftware/article/details/6457487Linux是一个多用户，多任务的系统，可以同时运行多个用户的多个程序，就必然会产生很多的进程，而每个进程会有不同的状态。在下文将对进程的R、S、D、T、Z、X 六种状态做个说明。 PROCESS STATE CODES He

2013-09-12 22:16:21 727

原创 Future接口例子程序

package preschedule;import java.util.concurrent.*;public class TaskTest { public static void addToPreScheduleTaskQueue(ExecutorService exec) { TaskPreScheduler mapTaskPreScheduler = new

2013-09-10 17:32:44 695

原创 Lsload命令

lsload 节点名查看后台节点的负载status r15s r1m r15m .....通常 r15s 反映的是满载运行的进程的个数，如果作业被加载后，r15s 的值较小，则该节点的作业可能未被正常加载。mem 表示可用的内存。

2013-09-09 10:18:12 3191

原创 Hadoop 资源监控

hadoop内部涉及到资源监控的模块，包括以下两个: metrics* 和 jmx/JMXJsonServlet 事实上，注意到metrics2/util/MBeans中，有这么一句: final MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); 可见其也是遵守jmx标准的。

2013-09-03 12:00:33 1754

原创 JMX的强大功能

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。这里IBM公司的文档说的比较清楚: Java SE 6 新特性:JMX

2013-09-02 21:47:59 526

原创屏幕翻页

有的老集群的适用Shift + PageUp/Down不过比较保险的是使用more命令，比如 pbsnodes|more ,按回车翻页。

2013-09-02 15:44:29 560

转载 pam_access.so模块

转自: http://www.infoq.com/cn/articles/linux-pam-twopam_access.so模块主要的功能和作用是根据主机名（包括普通主机名或者FQDN）、IP地址和用户实现全面的访问控制。pam_access.so模块的具体工作行为根据配置文件/etc/security/access.conf来决定。该配置文件的主体包含了三个字段——权限、用户和访问发起方。

2013-09-01 11:46:28 2670

原创通过pam限制普通用户无密码登陆

1. 修改所有计算节点的 /etc/security/access.conf , 加入这一句 - : ALL EXCEPT root @root : ALL2. 修改所有计算节点的/etc/pam.d/sshd #account required pam_nologin.so 注释掉这句 account re

2013-09-01 11:27:05 2144