superce的博客

https://www.jianshu.com/users/7f0c33d3ae69/subscriptions

Hadoop完全分布式搭建 【可行】

1. 首先根据之前的文章搭建好hadoop单节点环境 2. 分布式集群规划 名称 IP HDFS YARN master 192.168.56.100 NameNode ResourceManager data1 192.168.56.101 DataNode No...

2017-04-22 16:48:57

阅读数 386

评论数 0

手机发送数据给虚拟机Docker中的flume

2018-07-05 08:19:53

阅读数 193

评论数 0

python使用flask socket-io向echarts传递多个一维数组实现动态柱状图

2018-07-05 08:19:00

阅读数 257

评论数 0

python+flask+socket-io+echarts数据可视化

查看本机python版本安装psutil       打开window power shell安装psutil       PSC:\Users\space> pip install psutil       Collectingpsutil         Download...

2018-07-05 08:17:51

阅读数 631

评论数 0

flume与spark-streaming联通(测试过程)

安装好flume       配置flume配置文件,确定flume数据源以及要将数据发送给谁安装telnet       apt-getinstall xinetd telnetd              安装后使用显示       root@master:/usr/local/hadoop-...

2018-07-05 08:16:39

阅读数 378

评论数 0

Docker中ubuntu安装mysql

2018-07-05 08:15:01

阅读数 540

评论数 0

spark中python读取json

找到json文件       /usr/local/spark/examples/src/main/resources/people.json编写应用程序jsontext.py       frompyspark import SparkContext       importjson      ...

2018-07-05 08:13:38

阅读数 505

评论数 0

在集群上运行python编写的spark应用程序(过程记录)

启动hadooproot@master:/usr/local/hadoop-2.7.5/sbin#./start-all.sh This script is Deprecated. Instead use start-dfs.shand start-yarn.shStarting namenode...

2018-07-05 08:12:32

阅读数 4131

评论数 0

pyspark之词频统计(解释)

要让python程序具有spark的功能,能够编写出在spark上运行的程序,需要先导入pyspark的包       frompyspark import SparkContext然后假设要从一个文本文件中读取数据,进行词频统计,那么就要先读取文本文件       textFile= sc.te...

2018-07-05 08:09:26

阅读数 1336

评论数 0

docker中hadoop分布式集群导出保存

步骤       将容器保存为镜像       将镜像打包       将打包文件导出将容器保存为镜像       $sudo docker ps       CONTAINERID        IMAGE               COMMAND             CREATED   ...

2018-07-05 08:08:08

阅读数 91

评论数 0

毕业设计说明书(论文)结构-系统设计方面

摘要       一两句话交代系统开发的背景,引出要解决的问题       概述介绍系统的概要设计和主要贡献       系统开发取得的效果       关键词:4、5个,得到大家公认的Abstract       英文翻译       注意语法目录第一章 引言       选题背景与意义:引出要...

2018-07-01 09:24:11

阅读数 250

评论数 0

docker内搭建spark分布式集群(python)

2018-06-29 14:48:39

阅读数 302

评论数 0

docker搭建hadoop分布式集群

查看当前镜像 spc@spc-virtual-machine:~$ sudo docker images //这是镜像 REPOSITORY TAG IMAGE ID CREATED SIZE...

2018-06-29 14:47:01

阅读数 260

评论数 1

MapReduce计算成绩

2018-06-22 10:10:38

阅读数 99

评论数 0

S3C2410A芯片sys_init代码注释 辅助理解(部分内容)

2018-06-22 10:02:54

阅读数 96

评论数 0

【MPI并行程序】矩阵乘法

    具体思路为创建矩阵,给每个进程分配矩阵的不同部分,每个进程根据进程号的不同处理矩阵的不同部分,计算完成后将每个进程的数组发送给一个特定的进程,由该进程合成一个完整的矩阵输出出来。问题是不一定每个进程都能分配到等长的矩阵行数。 首先是创建一个矩阵,这里在创建时使用行数和列数的自定义关系作为...

2018-05-24 21:46:53

阅读数 1374

评论数 0

【MPI并行计算】Parallel Rank程序

该题的背景是不同的进程在运行时可能会有不同的状态,在这里用数值表示,有时需要让每个进程知道自己在所有进程中处于什么位置。首先每个进程使用自己的进程号作为随机数种子生成自己的一个随机数由于选择一个进程对所有进程数值进行排序时,该进程不仅要知道每个进程的数值,还要知道这个数值来自于哪个进程,所以这里使...

2018-05-24 21:44:23

阅读数 479

评论数 0

【MPI并行计算】对一个大规模数组求最大值

1. 首先要创建一个大规模数组,这里使用python程序生成指定长度的随机数数组,然后写入到txt文件中 2. 查看txt文件中生成的随机数数组 3. 编写mpi程序读取文件中的每一行,然后生成一个数组,这里创建10个进程,1~9进程负责计算数组的一部分,然后将其负责部分数组的最大值发...

2018-05-24 21:41:20

阅读数 1219

评论数 0

【MPI并行计算】计算cosx在a~b的积分

先将a~b分成p份,然后将每个p份分为n份,对于最小的n份,其在x轴的长度为(b-a)/p/n=h,那么这最小的一份的面积就是h乘以高度,高度是cos(该长方形的在x轴的中点的坐标),其中该长方形的在x轴的中点的坐标=a+(i*n+j)+h/2(也就是按最小的长方形来计算,从a开始到这个长方形有几...

2018-05-24 21:38:44

阅读数 587

评论数 0

安装MPICH,并运行点到点通信程序

一、安装Linux操作系统(Ubuntu) 如图所示按照步骤一步一步创建虚拟机即可,此次是用的Ubuntu14.04的镜像,64位系统,由于之前已经创建好了虚拟机,此次实验中并没有创建新的虚拟机。   二、安装Docker,并运行Ubuntu镜像 1. 安装docker,首先安装需...

2018-05-24 21:36:22

阅读数 226

评论数 0

提示
确定要删除当前文章?
取消 删除