2013年07月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载怎样用命令查找别人用ssh登录自己本地主机

ps -ef|grep sshdroot 1693 1 0 Aug13 ? 00:00:00 /usr/sbin/sshd #父进程号是1的是系统服务进程root 12598 1693 2 14:59 ? 00:00:00 /usr/sbin/sshd #有这个进程说明有SSHD远程客户登录root 12638 1693 0 15:02 ? 00:00:00 /usr/sbin/ssh

2013-07-30 16:05:04 1563

转载讨论：Hadoop社区与中国云计算开源展望

转自: http://cloud.it168.com/a2010/0908/1100/000001100889_all.shtml【IT168 评论】日前，由中科院计算所主办的“Hadoop 中国2010云计算大会 - Hadoop in China 2010”于9月4日在京落下帷幕【图文专题】，共有600多名来自企业、高校、科研院所的Hadoop技术爱好者参加了此次盛会。

2013-07-26 16:26:51 906

转载作业样例

转自： http://nic.buaa.edu.cn/bhgs/hjhsybz/25449.htm1、以太网作业脚本示例以太网作业脚本样例#!/bin/sh -f #PBS -N cpitest#PBS -l nodes=2:ppn=8#PBS -l walltime=03:00:00#PBS -l mem=12mb#PBS -q

2013-07-24 21:12:07 1347

转载 torque+openmpi+cgroup实现任务间资源隔离

转自: http://basiccoder.com/torque-openmpi-cgroup-isolate.html从工作到现在就没再更新过博客，工作后忙了人也变懒了，为了对得起我每年要交的虚拟主机和域名费用，写下最近在干的事，要干什么标题写得已经很明白了，这个事情的难点到不在于openmpi和cgroup有多复杂，而是torque的代码写得实在是太乱了，无数次吐槽也改变不了我

2013-07-22 20:55:41 1902

转载 SEDA高性能互联网服务器架构模型（1）

转自: http://blog.csdn.net/datascientist/article/details/7184248最近研究云存储相关的系统，Oceanstore和Cassandra都用到了SEDA编程模型。（注：关于Cassandra的代码结构和SEDA模型的使用情况可以参考这篇文章http://prettyprint.me/2010/05/02/understanding-ca

2013-07-22 18:39:30 1297

转载将并行I/O标准化(Hadoop与并行I/O)

转自: http://www.searchstorage.com.cn/showcontent_46125.htm日期：2011-3-7 来源：Dostor 作者：Henry Newman 译者：Bill 早在20年前，Thinking Machines和Kendall Square Research等公司就曾在创新型研究项目中进行过并行应用。这些公司现在已然不存在了，

2013-07-22 18:34:37 766

转载 Hadoop 数据类型与文件结构剖析 Sequence, Map, Set, Array, BloomMap Files

转自: http://blog.nosqlfan.com/html/1217.html今天要推荐的一篇文章发表在知名云存储提供商 Cloudera 的博客，本文细致且图文并茂地讲解了 Hadoop 的几种典型文件结构及他们之前的关系。NoSQLFan 将主要内容翻译整理如下（如有错漏，欢迎指正）：1.Hadoop’s SequenceFileSequenceFile 是 Had

2013-07-22 14:16:42 605

转载 YARN ResourceManager调度器的分析

转自: http://tech.uc.cn/?p=1438 YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如，CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码，原代码位置使用[类名:行号]方式

2013-07-22 14:15:41 1099

转载 Hadoop I/O系统介绍

转自: http://my.oschina.net/u/872123/blog/120001 看过很多Hadoop介绍或者是学习的帖子和文章，发现介绍Hadoop I/O系统的很少。很多文章都会介绍HDFS的架构和使用，还有MapReduce编程等等。尤其是在介绍Hadoop的MapReduce编程之前，首先必须了解下Hadoop的I/O知识，要不一看到IntWritable、

2013-07-22 14:09:22 680

转载 What Hadoop is good at

转自: http://horicky.blogspot.com/2009/11/what-hadoop-is-good-at.htmlHadoop is getting more popular these days. Lets look at what it is good at and what not.The Map/Reduce Programming mode

2013-07-14 14:49:13 696

转载 SEDA介绍与分析

转自: http://www.kafka0102.com/2010/02/34.htmlSEDA（Staged Event-Driven Architecture）并不是很新的技术，但它总会在我阅读的资料里出现些许影子，所以就拿出一些时间看了一下与它相关的论文资料。SEDA的目标很远大，它要构建支持大并发的互联网系统，并克服多线程及事件驱动的服务器端模型的缺点。但SEDA来源于学术界，并且这个

2013-07-14 11:22:20 798

转载 jstack,、jmap、jstat笔记

转自: http://heipark.iteye.com/blog/1840314jstack——发现线程目前停留在那行代码 jstack jstack -F # 有时候线程挂起的时候要加上-F参数才能把信息dump处理jmap#提取进程内存信息，用于分析OOM导致原因jmap -dump:format=b,file=HeapDump.bin

2013-07-10 22:03:43 792

转载 screen命令

系统管理员经常需要远程登录服务器然后在服务器上跑一些程序有个时候得跑很长时间（超过12小时）这是如果程序没结束就退出远程管理终端远程跑的程序很有可能就此当掉以前常用的解决方式是用命令nohup但是nohup也有很多的问题当有了screen这一切便都迎刃而解了敲入命令screen会创建一个跑着shell的单一窗口在这里面你可以跑你所需要的程序然

2013-07-09 17:16:45 602

转载 HADOOP源码学习思路与方法

转自: http://myhadoop.diandian.com/page/3读源码方面的顺序是先读懂以下五个方面的源码，其已囊括了Hadoop的核心要务，1、读源码的过程与读Docs过程并行，此阶段以Docs为中心，读源码目的是要辅住理解Docs；2、读懂Docs后读源码时要融汇贯通，系统的读，整体把握，可以应用比如类图等方法辅助，此阶段还要返回读Docs以辅助理解源码。

2013-07-09 15:43:43 776

转载 Hadoop性能分析工具Hitune的安装(centos)

一个 Hadoop 任务的调优工具，看下benchmark 是否有地方可借鉴。介绍：http://www.docin.com/p-112865075.html使用：http://blog.csdn.net/jostey/article/details/7078797开源：https://github.com/HiTune/HiTune论文：http://stat

2013-07-08 21:58:20 792

转载 [2010-VLDB] The Performance of MapReduce: An In-depth Study

转自:http://blog.csdn.net/junerf/article/details/6234453一般认为，云数据处理系统应该能够提供较高的elasticity, scalability, fault tolerance, 而作者提出在上述三个特点之上，云系统也应该提供efficiency。尽管云系统可以通过部署更多的计算节点来提高性能，然而这种做法代价高昂，偏离了云计算

2013-07-08 19:28:18 818

转载如何在visio中画虚线框以及将visio图形复制到word文档中虚线变为实线的问题

这两个问题都不是什么复杂的事情，但是如果对visio用的不多或者只是临时用起来碰到了这种问题还真是麻烦事儿。================================================================问题1：如何在visio中画虚线框在上方的按钮中找到矩形工具那个按钮，对，点一下就可以在作图区画出来一个矩形了。可是这个矩形默认的一般都是实线白

2013-07-08 15:29:30 2268

转载 [转载]PBS作业调度应用与说明

PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、 PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地

2013-07-04 19:15:11 911

转载 MPI常用命令

转自: http://blog.csdn.net/shijinupc/article/details/67889901.mpd & 启动本机的mpi守护进程2. mpdboot:启动集群mpd守护进程，在运行MPI程序前必须开启每个节点上的mpd守护进程。常用的参数： -n nodenum,需要启动的节点数量 -f hostsfile节点列表，与-n 一起使用

2013-07-04 14:40:29 1266

原创 hadoop 使用log4j日志

[root@c02b01 conf]# cat log4j.properties # Define some default values that can be overridden by system propertieshadoop.root.logger=DEBUG,consolehadoop.log.dir=.hadoop.log.file=hadoop.log

2013-07-03 20:07:43 3013 1

原创 impi 编译运行

[liuqiang@c01b01 ~]$ cat ~/hello/hostc02b06 c02b05 c02b04 c02b03 c02b02 编译: mpiicc -o hello hello.c mpdboot -n 3 -f host -r ssh mpiexec -genv I_MPI_DEVICE ssm -np 36 ./hel

2013-07-03 16:56:01 1283

原创关于HPL.dat 的建议网站

http://hpl-calculator.sourceforge.net/

2013-07-02 23:06:05 2005

原创 mpd起不来

测试中发现mpd起不来具体如：mpdboot_c03b05 (handle_mpd_output 415): failed to connect to mpd on ibc03b05解决方法： tentakel -g all "rm -rf /tmp/mpd*" 我一开始用的: tentakel -g all rm -rf /tmp/mpd* 好像有些文件删不掉，换成

2013-07-02 21:11:57 1861