并行gis研究
loftyscholar
从这里开始,
展开
-
windows环境下MPI集群搭建
这两天打算学习下MPI,选择在windows平台下。首先在各台节点上创建具有Administrator权限的MPI帐户,密码为MPI。然后各自安装MPICH2,之后用wmpiregister.exe完成用户注册。最后在在主节点上运行wmpiconfig.exe配置,对所有节点进行配置。注意的是让参与计算的节点尽量配置在一个工作域内部,默认选择了WORKGROUP。环境配置完毕后,测原创 2011-11-28 19:58:49 · 4147 阅读 · 0 评论 -
内存映射方式读取文件
参考:http://xiang201314.blog.51cto.com/1294467/642311基本需求是:存在文本方式存储的海量点坐标数据,需要快速读取到内存中。在测试1000万行(x y z)数据时,以fgets()方式逐行读取进行分析大概需要一分钟左右,而以内存映射(MMap)方式大概20s左右。代码如下:/*创建文件对象*/HANDLE hFile = ::CreateF原创 2012-06-27 09:47:39 · 1757 阅读 · 1 评论 -
MSMPI和MPICH2同时安装产生的错误
From:http://www.luyijia.net/the-error-generated-by-msmpi-and-mpich2-installed.html最近使用mpich2做单机64位多核并行计算,下载了mpich2-1.2.1p1-win-x86-64.msi,安装后设置环境变量,按照说明mpiexec -register注册后运行,总是出现如下错误:unable to转载 2012-06-04 09:09:03 · 7762 阅读 · 1 评论 -
HPCC系统需求
HPCC系统需求 System Requirements)HPCC平台需求(HPCC Platform Requirements)以下需求为社区版HPCC平台与ECL集成开发环境的需求,所有库均基于64位架构(The following system requirements detail what is needed to support the HPCC Platform and翻译 2012-04-19 15:38:47 · 1254 阅读 · 2 评论 -
HPCC初探
HPCC(High Performance Computing Cluster,高性能计算集群)是开源的大规模并行处理计算平台,主要用于解决Big Data问题。HPCC集成了 Thor (the Data Refinery Cluster)集群与Roxie(the Query Cluster) 集群作为其中间件,包括外部通信层(以客户端接口提供终端服务和系统管理工具)与辅助组件(原创 2012-04-19 15:12:24 · 3069 阅读 · 0 评论 -
boost c++编译备忘
准备用boost的Parallel BGL,在编译时需要将user-config.jam文件中增加using mpi ;但是在编译时提示无法找到路径,上网查了下,是缺少了Microsoft Compute Cluster Pack SDK。安装,编译,通过。编译命令:bjam.exe --toolset=msvc-8.0 --prefix=d:\opensource\boost\boost原创 2012-02-24 14:00:51 · 916 阅读 · 0 评论 -
hadoop命令备忘
hadop集群状态查看:hadoop dfsadmin -report格式化datanode:hadoop namenode –format关闭datanode安全模式:hadoop dfsadmin -safemode leavehadoop启动:start-all.shhadoop关闭:stop-all.sh上传:hadoop dfs -put input(本地文件夹) i原创 2012-01-09 13:56:54 · 503 阅读 · 0 评论 -
hadoop集群配置
1 软件准备ubuntu 11.10 Hadoop 1.0jdk-6u29-linux-i586虚拟机VMWare8.02 环境配置安装ubuntu3 基本环境配置命名机器为:hadoopnamenode(etc目录下的hostname文件)对应IP地址为:192.168.12.10(界面方式配置:systemsetting-Network)4 ssh安原创 2012-01-08 19:40:10 · 755 阅读 · 0 评论 -
R language学习(一)
R 是一个有着统计分析功能及强大作图功能的软件系统,是由奥克兰大学统计学系的Ross Ihaka 和Robert Gentleman 共同创立。由于R 受Becker, Chambers & Wilks 创立的S 和Sussman 的Scheme两种语言的影响,所以R 看起来和S 语言非常相似。之前安装了RStudio与R语言包2.140,基本配置如下:platform i38原创 2011-12-16 17:10:31 · 4931 阅读 · 0 评论 -
Google Megastore读写的架构分析
使用在什么地方?google的megastore早在今年2月份公开后,马上就国人翻译了它,但我个人看了翻译似乎还是不怎么理解,还是看看E文的吧,这篇文章的原文直接用google搜索“google megastore” ,基本前面几条就有这篇文章了。我个人感觉,他这篇文章的主要使用之处,是对于多机房的使用,即在不同的地域之间使用paxos算法来达到数据的强一致,相对于国内多机房的数据同步,大多数转载 2011-12-07 08:52:24 · 793 阅读 · 0 评论 -
Qt5.0编译
刚刚听说Qt5.0出来了,之前一直比较期待Qt对MapReduce这块加强下。现在是MR的天下,而之前版本这块很弱,现在急于了解一下。编译环境,Windows7,VS2005。Qt5.0的下载需要通过git来完成,首先从http://msysgit.googlecode.com/files/Git-1.7.7.1-preview20111027.exe下载msysgit。由于msysgit原创 2011-12-02 21:15:00 · 6384 阅读 · 3 评论 -
OpenGeoDa编译
相关介绍:Legacy GeoDa is a free software program that serves as an introduction to spatial data analysis and is used by over 68,000 people across the world (as of spring 2012). We are currently deve原创 2012-07-20 15:53:52 · 1966 阅读 · 0 评论