并行计算
文章平均质量分 63
swuteresa
这个作者很懒,什么都没留下…
展开
-
R脚本并行运行
执行mpirun时,指定hosts可以用选项-H或-host(逗号分割的hosts列表),或者用选项-hostfile指定一个host file。可以使用-n或-np选项指定在这些节点(即hosts)上运行的脚本的副本数量。若-n或-np为1,指定只运行脚本的一个副本,在运行startMPIcluster时,doMPI会使用Rmpi的mpi.comm.spawn函数为你启动多个workers。原创 2013-07-22 14:55:13 · 3741 阅读 · 0 评论 -
Ubuntu搭建hadoop单机版伪分布环境
原文地址:http://os.51cto.com/art/201211/364167.htm在11月初的时候,我们了解了Ubuntu 12.04 搭建 hadoop 集群版环境的方法,今天再来看看在单机版环境中,Ubuntu12.04搭建hadoop是如何实现的。一. 你要安装Ubuntu这一步省略;二. 在Ubuntu下创建hadoop用户组和用户;1原创 2013-07-24 10:20:45 · 3812 阅读 · 0 评论 -
Hadoop虚拟集群的搭建
主要参考:1. http://blog.csdn.net/bluetropic/article/details/93356752. http://blog.csdn.net/hguisu/article/details/7237395一、环境介绍:2个节点的虚拟机VMware,Ubuntu12.04 二、修改机器名sudo vi /etc/hostname原创 2013-10-30 21:31:18 · 1026 阅读 · 0 评论 -
终于配好Hadoop
经过5天的奋战,终于在两个节点的虚拟机上配好了Hadoop分布式环境,mark一下。主要是由于自己技术底子不好,以前没用过Linux,也不搞开发,家里电脑出问题了一般都是老公出面搞定的,哎……接下来是更为艰巨的,算法并行化设计,以及分布式环境下的程序调试。对于技术盲大妈来说,真的是伤不起啊。原创 2013-10-30 16:39:33 · 1171 阅读 · 1 评论 -
hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
原文:http://blog.csdn.net/larrylgq/article/details/7580488sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) A转载 2013-10-31 10:07:31 · 27017 阅读 · 0 评论 -
hdfs命令操作
转载自:http://www.dreamflier.net/blog/user1/3/2405.html 查看hadoop fs 建目录hadoop fs -mkdir /user/cloud/test 列当前目录hadoop fs -ls 列根目录hadoop fs -ls / 循环列目录hadoop fs -lsr / 上传到转载 2013-10-31 09:57:17 · 918 阅读 · 0 评论 -
Hadoop操作HDFS命令
转载自:http://www.juziku.com/sunlightcs/wiki/6017.htmhadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs转载 2013-10-31 09:49:47 · 861 阅读 · 0 评论 -
配置与使用Hadoop的问题
1.用户组对数据目录必须拥有写权限chmod g-w /hadoop/data/ 或者 chmod 755 /hadoop/data2.单机模式下,output和input文件夹在本机上,而在伪分布模式下,必须位于hdfs文件系统中,否则报错:Input path does not exist方法一:建立本地目录:mkdir input拷贝文件至目录:cp原创 2013-07-25 14:36:01 · 4219 阅读 · 0 评论 -
Hadoop 常见问题总结
出现问题以后先查看日志,以下是常见的错误情况1 地址占用org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use查找被占用的端口号对应的PID : netstat -tunlpkill -9 PID实在不行就killall -9 java2 s转载 2013-10-29 16:38:11 · 918 阅读 · 0 评论 -
ubuntu下安装openMPI
1.确认以下编译器已安装:gcc --versiong++ --versionpython --version2.下载(默认至当前用户的Downloads目录下)URL: http://www.open-mpi.org/software/ompi/v1.6/目前版本:openmpi-1.6.5.tar.gz3.解压openMPI安装文件,放在当前原创 2013-07-22 10:12:27 · 20110 阅读 · 1 评论 -
ubuntu配置open-mpi笔记(虚拟机)
原文地址:http://chenwenxuan.com/2013/02/17/ubuntu-openmpi/在ubuntu上尝试配置了一下open-mpi,在虚拟机上完成。从安装ubuntu到配置完成mpi的过程。整理一下。1. 安装ubuntu先下载iso文件,ubuntu-12.04.1-server-i386.iso,这个ubuntu不会启动ui界面,适合在虚转载 2013-07-31 13:22:45 · 3087 阅读 · 0 评论 -
foreach高效并行的例子
在foreach包的mannual中,高效并行的例子:将行分块后,发送到各个workers:applyKernel <- function(newX, FUN, d2, d.call, dn.call = NULL, ...) { foreach(x = iblkcol(newX, 3), .combine = "c", .packages = "foreach")%dopar%原创 2013-07-31 11:32:25 · 3999 阅读 · 0 评论 -
R并行程序框架
library(doMPI)cl registerDoMPI(cl)… use of foreach and %dopar% …closeCluster(cl)mpi.quit()原创 2013-07-22 14:54:26 · 1050 阅读 · 0 评论 -
R并行开发准备
1. 安装openMPI2. 安装R Packages:install.packages("Rmpi")install.packages("doMPI",dependencies=TRUE) 将自动安装doMPI的依赖包foreach和iterators原创 2013-07-22 10:15:13 · 1470 阅读 · 0 评论