云计算与大数据
zdxdxd
永远保持对新事物的向往。
展开
-
Ubuntu16 MPICH2和DOCKER的环境搭建
1. Java环境搭建1.1 下载JDK并进行解压1.2 设置环境变量2. 安装Mpich22.1 下载并解压Mpich2.2 编译和配置2.2.1 进入解压后文件夹,设置安装目录:2.2.2 编译和安装:2.2.3 设置环境变量2.2.4 测试参考链接: 1.java安装 2.mpich安装1. Java环境搭建1.1...原创 2018-05-03 17:23:52 · 1721 阅读 · 0 评论 -
MPI编程----计算cosx的积分
原理:将积分区间平均分成多份,每个进程计算相应的任务,计算完成后通过根进程收集并求和得出答案并计算出相应的误差。 代码如下:#include <stdio.h>#include "mpi.h"#include <string.h>#include<math.h>#define PI 3.1415926double原创 2018-06-04 17:31:16 · 1294 阅读 · 0 评论 -
MPI编程----找到大型数组中最大元素
原理:与计算cosx相似,通过将数组分成若干份,分配给子进程计算,最后通过根进程收集并处理输出。代码如下:#include <stdio.h>#include "mpi.h"#include <string.h>#include <math.h>#define PI 3.1415926#define N 2000000int rand_a...原创 2018-06-04 17:35:14 · 1083 阅读 · 0 评论 -
MPI编程-----Parallel Rank
原理:如图所示,假设每一个进程代表一个节点,在集群中,由于每台设备的性能不同,那么获取集群中每台设备的速度就显得尤为必要,了解每台设备的情况可以更加高效地进行任务分配。现在,每个进程都拥有一个随机数,我们需要将其收集上来并进行排序,然后将对应的排名顺序分发给各个子进程,这样每个子进程都可以知道自己在整个系统中的排名。 代码如下:#include <stdio.h>#...原创 2018-06-04 17:51:21 · 1393 阅读 · 0 评论 -
MPI编程----矩阵乘法
原理: 如图所示,将一个矩阵每一列分配给各个子进程,然后在进程内部将一列与另一个矩阵相乘,最后将根进程收集结果并进行输出。代码如下:#include <stdio.h>#include "mpi.h"#include <string.h>#include <stdlib.h>#include <math.h>#include ...原创 2018-06-04 17:57:48 · 10876 阅读 · 1 评论 -
Hadoop编程
参考链接: 1.MapReduce编程实例 2.使用java操作HDFS1.配置CLASSPATH编辑~/.bashrc文件sudo gedit ~/.bashrc在最后加入:CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/share/hadoop/common/*:$HAD...原创 2018-06-07 14:47:44 · 1121 阅读 · 0 评论 -
Ubuntu16.04下Hadoop3.1的安装与配置
1. 下载压缩包Hadoop环境需要安装java,若未安装见:java下载与安装然后到官网下载对应的安装包,然后解压到本地目录下.2. 配置环境变量sudo gedit ~/.bashrc然后设置环境变量(路径根据自己的设置)export HADOOP_HOME=/usr/hadoop-3.1.0/export PATH=$HADOOP_HOME/usr:$HADOOP_...原创 2018-05-31 16:31:12 · 3824 阅读 · 0 评论 -
Hadoop编程——统计多个班级学生信息
源码地址:GithubProblem Statement假设有N个班级在学习一门课程,第i个班级有M[i]个学生。课程成绩按照班级,分别存放在单独的文本文件中,如File1.txt是1班的成绩,File2.txt是2班的成绩,以此类推。现在需要你来完成: (1)在本地文件系统中,首先使用随机数生成N个班级的成绩文件,包括学生的学号、姓名、成绩。注意:成绩要在[0,100]范围内。 ...原创 2018-06-18 22:41:46 · 3121 阅读 · 0 评论