高性能计算
飞火流云
这个作者很懒,什么都没留下…
展开
-
关于Float峰值计算的方法
linpack百度百科: http://baike.baidu.com/view/485828.htm 集群理论浮点峰值=CPU主频(GHz)×4(CPU每时钟周期执行浮点运算次数)×节点数×8(每节点双路四核) 例如单节点机CPU为Xeon E5430,则其理论峰值=1.66×4×1×8=53.12 GFLOPS 另外一个经常被用来评价计算机性能的简单指标是峰值速原创 2013-04-23 16:50:30 · 18206 阅读 · 1 评论 -
MPI, MapReduce 应用比较分析
http://redtreewood.blogspot.com/2009/10/openmp-mpi-mapreduce.htmlOpenMP:OpenMp是线程级别的,共享是存储,只适应用于共享总线与内存,单一操作系统映像的SMP机器和DSM机器。可扩展性比较差,对机器的要求比较高。一般双核的机器(很多CPU共享内存条)适合用OpenMP,可以提高一定的运行速度。这个转载 2014-02-14 16:34:21 · 4168 阅读 · 0 评论 -
并行编程的实现方式与语言
1. 语言本身不具备并行性,但原创 2014-09-17 21:01:24 · 595 阅读 · 0 评论 -
Memcached真的过时了吗
这两年Redis火得可以,Redis也常常被当作Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而,Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗?下面内容来自Redis作者在stackoverflow上的一个回答,对应的问题是《Is memcached a dinosaur in comparison to转载 2014-10-26 22:29:10 · 655 阅读 · 0 评论 -
redis、memcache、mongoDB性能对比及关系和作用
性能对比:1、性能都比较高,性能对我们来说应该都不是瓶颈总体来讲,TPS方面redis和memcache差不多,要大于mongodb2、操作的便利性 memcache数据结构单一 redis丰富一些,数据操作方面,redis更好一些,较少的网络IO次数转载 2014-10-26 22:04:53 · 1100 阅读 · 0 评论 -
Memcache and Mongodb
Memcache Memcache的优势我觉得总结下来主要体现在:1) 分布式。可以由10台拥有4G内存的机器,构成一个40G的内存池,如果觉得还不够大可以增加机器,这样一个大的内存池,完全可以把大部分热点业务数据保存进去,由内存来阻挡大部分对数据库读的请求,对数据库释放可观的压力。2) 单点。如果Web服务器或App服务器做负载均衡的话,在各自内存中保存的缓存可能转载 2014-11-22 19:44:39 · 597 阅读 · 0 评论 -
PowerGraph安装问题测试记录
使用版本为V2.2https://github.com/dato-code/PowerGraph问题1: 执行./configure出现问题: 找不到opencv, 无法从下载地址中抽取。。。。查看CMakeFileList.txt文件: 解决方法: 手动下载operncv 3.4.3, 将其改为:# OpenCV ========原创 2015-10-11 16:01:26 · 1846 阅读 · 0 评论 -
关于Ceph的一点疑惑
分布式存储系统简单归类:中心化: HDFS, GFS去中心化: Ceph, Swift 这里面的hash是如何做到均匀的? 避免HashMap中链表改为红黑树的问题? 一无所知。 ...原创 2018-08-11 22:25:55 · 235 阅读 · 0 评论 -
Giraph测试用例之Parallel BFS
该用例源自: https://github.com/MarcoLotz/GiraphBFSSO/blob/master/src/uk/co/qmul/giraph/structurebfs/SimpleBFSStructureComputation.java本人对其做了轻度修改和注释,想将消息修改为出发点ID的,但是发现作者原版能看出BFS的深度和解决环的问题就不改了。关于结果正确性的...原创 2018-08-29 12:34:51 · 318 阅读 · 0 评论 -
并行文件对比代码
还需要优化,有点慢啊,当然我机器性能不好。。。package computeResultCheck;import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;/** * 由于任务划分不确定等繁琐...原创 2018-10-01 20:51:14 · 194 阅读 · 0 评论 -
BFS检测CC计算结果(串并行实现)
串行:package berkstan;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;import java.util.HashMap;impo...原创 2018-09-30 16:08:31 · 368 阅读 · 0 评论 -
[转载]PBS作业调度应用与说明
PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、 PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地转载 2013-07-04 19:15:11 · 942 阅读 · 0 评论 -
PBS作业调度应用与说明
转自: http://blog.sciencenet.cn/blog-355217-464900.htmlPBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作转载 2013-09-17 15:54:38 · 9605 阅读 · 2 评论 -
并行计算模型
并行计算模型通常指从并行算法的设计和分析出发,将各种并行计算机(至少某一类并行计算机)的基本特征抽象出来,形成一个抽象的计算模型。从更广的意义上说,并行计算模型为并行计算提供了硬件和软件界面,在该界面的约定下,并行系统硬件设计者和软件设计者可以开发对并行性的支持机制,从而提高系统的性能。有几种有价值的参考模型:1、PRAM模型PRAM(Parallel Rand转载 2014-02-05 11:11:29 · 4571 阅读 · 0 评论 -
Linpack使用Infiniband网络计算时内存分配问题
Linpack使用Infiniband网络 计算时出现如下问题: reg_mr Cannot allocate memory !!! 问了浪潮的工程师,据说是Linpack计算时一个阀值设大了,出现了内存溢出问题。 解决方法: 在ib网的配置文件 /etc/modprobe.d/mlx4_en.conf 中加入如下信息: options mlx4_co原创 2013-06-29 22:25:49 · 1849 阅读 · 0 评论 -
关于HPL.dat 的建议网站
http://hpl-calculator.sourceforge.net/原创 2013-07-02 23:06:05 · 2023 阅读 · 0 评论 -
mpd起不来
测试中发现mpd起不来具体如:mpdboot_c03b05 (handle_mpd_output 415): failed to connect to mpd on ibc03b05解决方法: tentakel -g all "rm -rf /tmp/mpd*" 我一开始用的: tentakel -g all rm -rf /tmp/mpd* 好像有些文件删不掉,换成原创 2013-07-02 21:11:57 · 1890 阅读 · 0 评论 -
impi 编译运行
[liuqiang@c01b01 ~]$ cat ~/hello/hostc02b06 c02b05 c02b04 c02b03 c02b02 编译: mpiicc -o hello hello.c mpdboot -n 3 -f host -r ssh mpiexec -genv I_MPI_DEVICE ssm -np 36 ./hel原创 2013-07-03 16:56:01 · 1291 阅读 · 0 评论 -
MPI常用命令
转自: http://blog.csdn.net/shijinupc/article/details/67889901.mpd & 启动本机的mpi守护进程2. mpdboot:启动集群mpd守护进程,在运行MPI程序前必须开启每个节点上的mpd守护进程。常用的参数: -n nodenum,需要启动的节点数量 -f hostsfile节点列表,与-n 一起使用转载 2013-07-04 14:40:29 · 1272 阅读 · 0 评论 -
torque+openmpi+cgroup实现任务间资源隔离
转自: http://basiccoder.com/torque-openmpi-cgroup-isolate.html从工作到现在就没再更新过博客,工作后忙了人也变懒了,为了对得起我每年要交的虚拟主机和域名费用,写下最近在干的事,要干什么标题写得已经很明白了,这个事情的难点到不在于openmpi和cgroup有多复杂,而是torque的代码写得实在是太乱了,无数次吐槽也改变不了我转载 2013-07-22 20:55:41 · 1921 阅读 · 0 评论 -
作业样例
转自 : http://nic.buaa.edu.cn/bhgs/hjhsybz/25449.htm1、 以太网作业脚本示例以太网作业脚本样例#!/bin/sh -f #PBS -N cpitest#PBS -l nodes=2:ppn=8#PBS -l walltime=03:00:00#PBS -l mem=12mb#PBS -q转载 2013-07-24 21:12:07 · 1372 阅读 · 0 评论 -
OSDI, SOSP与美国著名计算机系的调查
【序言】按照USnews的分类,Computer Science被分为四个大类:AI, Programming Language, Systems, Theory.。毫无疑问,Systems是这四个大类中最要紧也是最大的一个。根据citeseer在2003年5月排出的所有计算机学科会议和期刊的影响因子排名[1],在前十位中的属于Systems的有7个,在前15个中占据了11个。转载 2013-08-22 10:44:34 · 875 阅读 · 0 评论 -
Lsload命令
lsload 节点名 查看后台节点的负载status r15s r1m r15m .....通常 r15s 反映的是满载运行的进程的个数,如果作业被加载后,r15s 的值较小,则该节点的作业可能未被正常加载。mem 表示可用的内存。原创 2013-09-09 10:18:12 · 3325 阅读 · 0 评论 -
Friday Q&A 2013-10-11: Why Registers Are Fast and RAM Is Slow
http://www.mikeash.com/pyblog/friday-qa-2013-10-11-why-registers-are-fast-and-ram-is-slow.htmlIn the previous article on ARM64, I mentioned that one advantage of the new architecture is the转载 2013-10-15 20:39:59 · 894 阅读 · 0 评论 -
图并行测试要点
1.由于用例可能运行时间很长,因此可以写成脚本的形式,一个测试小节一个脚本,每个脚本包括文件配置+运行命令,最后各脚本可以放在一个脚本里进行统一后台运行。2.在系统资源允许的情况下,写脚本时可以考虑并行执行,尽量加快进度。 ...原创 2018-10-24 16:35:56 · 249 阅读 · 0 评论