- 博客(25)
- 资源 (27)
- 问答 (1)
- 收藏
- 关注
转载 Hadoop 0.23 性能笔记
转自: http://space.itpub.net/25548387/viewspace-734325 Cloudera 的Hadoop World上看到的这个PPT: Hadoop and Performance,介绍了一些现在0.20 和0.23 版本性能优化的技巧,这里做个笔记 Hadoop 性能误区Java 很慢 Hadoop 主要的瓶颈在磁盘IO 或者网络传输上
2013-09-30 19:24:49 789
原创 设置jmx远程监控
配置默认取消认证和监控端口:export HADOOP_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NA
2013-09-30 17:06:41 1399
转载 Linux下管理员强行踢出用户的命令使用方法
Linux强制踢出用户命令:一、输入w命令查看已登录用户信息[root@KW_S01_192.168.1.106_A ~]# w 19:22:31 up 2:11, 3 users, load average: 0.00, 0.00, 0.00USER TTY FROM LOGIN@ IDLE JCPU
2013-09-28 18:58:14 711
转载 OSDI, SOSP与美国著名计算机系的调查
【序言】按照USnews的分类,Computer Science被分为四个大类:AI, Programming Language, Systems, Theory.。毫无疑问,Systems是这四个大类中最要紧也是最大的一个。根据citeseer在2003年5月排出的所有计算机学科会议和期刊的影响因子排名[1],在前十位中的属于Systems的有7个,在前15个中占据了11个。
2013-09-26 22:12:06 774
转载 关于TaskAction
转自: http://flyingdutchman.iteye.com/blog/1877214在本节中,我们特别来学习一些有心跳(HeartBeat)的相关知识,这包括用途、心跳的发送、接收和应答。 JobTracker和TaskTracker之间是通过心跳来进行信息沟通的,TaskTracker通过周期性的通过心跳向JobTracker汇报该节点和任务的状态。
2013-09-24 15:03:33 1620
转载 POSIX标准, PThread和OpenMP
POSIX 表示可移植操作系统接口(Portable Operating System Interface ,缩写为 POSIX 是为了读音更像 UNIX)。 电气和电子工程师协会(Institute of Electrical and Electronics Engineers,IEEE)最初开发 POSIX 标准,是为了提高 UNIX 环境下应用程序的可移植性。具体的说 P
2013-09-23 21:53:16 1626
原创 linux 死机
/var/log/messages —— rp 爆发的时候,也许会记录下很多相关信息。按照时间戳查找。回溯操作 —— 回忆 Kernel Panic 之前所做的所有事,并回滚。(如安装了某个程序,可以在 /var/log/pacman.log 找到安装日志)Dump 信息 —— 屏幕输出信息是系统最后的“遗言”,请使用数码相机或者笔纸记录。(tty only)接下来就应该根据错误发
2013-09-22 15:33:33 800
转载 log4j 输出信息参数配置
转自: http://baike.baidu.com/link?url=T-72J2V67NmFGjM05MjcCV8cHM9o-vNvfaRvwmXOsnGdNeTPy__YoShpPa-3eX1Xlog4j.appender.stdout.layout.ConversionPattern= [QC] %p [%t] %C.%M(%L) | %m%n如果使用pattern布局就要
2013-09-20 23:24:43 1059 1
转载 我的美国CS面试经验分享
过去的一年多里,参加了一些面试,虽然面过的公司不多,但都从头一直走到尾。毕竟自己也是花了大量的时间和精力在这一场场的面试里。所以,就絮叨下自己的一些经验,希望能给在美国找实习找工作的同学们提供一点点帮助。 开始前的一些说明:1. 笔者只是一介小本科,虽然留了学,但是留了级,学识浅薄,目光短浅,文章若有不恰之处,恳请各位大牛不吝指正!2. 笔者面试的岗位均为Softw
2013-09-19 11:04:07 787
转载 线程同步
1、同步代码块synchronized(obj){...} 括号里的obj就是同步监视器线程开始执行同步代码块前,必须先获得对同步监视器的锁定,执行结束后自动释放对同步监视器的锁定2、同步方法使用synchronized修饰的方法,无须显示指定同步监视器,同步方法的同步监视器是this1)不要对线程安全类的所有方法都进行同步,只对那些会改变竞争资源的方法进行同步2)单线程环
2013-09-19 10:58:11 677
原创 log4j配置文件追加记录
// log4j.rootLogger = [ level ] , appenderName, appenderName, … // appenderName是输出源的名字,它指定日志信息输出到哪个地方, 如配置控制台输出,: log4j.rootLogger=WARN, Console log4j.appender.Console=org.apache.log4j.ConsoleAp
2013-09-19 09:55:35 1052
原创 log4j:WARN No appenders could be found for logger
解决, 在log4j.properties下面添加代码:log4j.rootLogger=WARN, Consolelog4j.appender.Console=org.apache.log4j.ConsoleAppenderlog4j.appender.Console.layout=org.apache.log4j.PatternLayoutlog4j.appen
2013-09-19 09:43:14 906
转载 JDK之jstat的用法
转自: http://www.51testing.com/html/92/77492-203728.htmljstat的用法用以判断JVM是否存在内存问题呢?如何判断JVM垃圾回收是否正常?一般的top指令基本上满足不了这样的需求,因为它主要监控的是总体的系统资源,很难定位到java应用程序。Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Mac
2013-09-18 20:56:36 671
转载 PBS作业调度应用与说明
转自: http://blog.sciencenet.cn/blog-355217-464900.htmlPBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作
2013-09-17 15:54:38 9744 2
原创 hadoop 函数阅读笔记之releaseSlot()
TT上的资源释放:/** * 该函数在任务被杀掉和任务结束的时候被调用(kill和reportTaskFinished ),比如在kill task时: * 如果该任务已经占据了这个slot,首先增加free slot的总数目,通知所有等待在free slot上的线程并将slotTaken置否, * 如果该任务忆还没有占据该slot,直接通知所有等待在free slot上
2013-09-17 11:53:02 703
原创 数组初始化
有时候总是忘,记在这里:一般比较好的写法是声明的时候就进行初始化,Java :int[] a=new int[5] ;C:可以用初始化列表进行初始化。 如 int a[1000]={0};是把a的所有元素初始化为0C++:定义: int *pia = new int[10]; // array of 1
2013-09-17 08:57:03 933
原创 hadoop 测试
MRBenchmark.0.0.2Usage: mrbench [-baseDir ] [-jar ] [-numRuns ] [-maps ] [-reduces ] [-inputLines ] [-inputType ] [-verbose][liuqiang@node01 hadoop-1.0.3]$ hadoop jar hadoop-test-1.0
2013-09-14 15:52:50 1135
转载 Linux 进程状态 说明
转自: http://blog.csdn.net/tianlesoftware/article/details/6457487Linux是一个多用户,多任务的系统,可以同时运行多个用户的多个程序,就必然会产生很多的进程,而每个进程会有不同的状态。 在下文将对进程的R、S、D、T、Z、X 六种状态做个说明。 PROCESS STATE CODES He
2013-09-12 22:16:21 758
原创 Future接口例子程序
package preschedule;import java.util.concurrent.*;public class TaskTest { public static void addToPreScheduleTaskQueue(ExecutorService exec) { TaskPreScheduler mapTaskPreScheduler = new
2013-09-10 17:32:44 700
原创 Lsload命令
lsload 节点名 查看后台节点的负载status r15s r1m r15m .....通常 r15s 反映的是满载运行的进程的个数,如果作业被加载后,r15s 的值较小,则该节点的作业可能未被正常加载。mem 表示可用的内存。
2013-09-09 10:18:12 3432
原创 Hadoop 资源监控
hadoop内部涉及到资源监控的模块,包括以下两个: metrics* 和 jmx/JMXJsonServlet 事实上,注意到metrics2/util/MBeans中,有这么一句: final MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); 可见其也是遵守jmx标准的。
2013-09-03 12:00:33 1769
原创 JMX的强大功能
JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,实际上,用户可以在任何Java应用程序中使用这些代理和服务实现管理。 这里IBM公司的文档说的比较清楚: Java SE 6 新特性:JMX
2013-09-02 21:47:59 534
原创 屏幕翻页
有的老集群的适用Shift + PageUp/Down不过比较保险的是使用more命令, 比如 pbsnodes|more ,按回车翻页。
2013-09-02 15:44:29 582
转载 pam_access.so模块
转自: http://www.infoq.com/cn/articles/linux-pam-twopam_access.so模块主要的功能和作用是根据主机名(包括普通主机名或者FQDN)、IP地址和用户实现全面的访问控制。pam_access.so模块的具体工作行为根据配置文件/etc/security/access.conf来决定。该配置文件的主体包含了三个字段——权限、用户和访问发起方。
2013-09-01 11:46:28 2793
原创 通过pam限制普通用户无密码登陆
1. 修改所有计算节点的 /etc/security/access.conf , 加入这一句 - : ALL EXCEPT root @root : ALL2. 修改所有计算节点的/etc/pam.d/sshd #account required pam_nologin.so 注释掉这句 account re
2013-09-01 11:27:05 2234
数据恢复工具(MiniTool_U盘数据丢失)
2015-08-13
关于Jstat的内存回收数量查看
2015-02-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人