qq_15987811的博客

spark graphX求前几条最短路径以及中间结点 最近有个需求，求图节点到其他节点的所有路径或者前几条最短路径，发现官方例子只有求最短路径而已，还有一个变种就是把最短路径的节点给保存下来而已。 基于此既然能把中间节点保留下来，那么按道理来说保留前几个最短路径也是可行的 仔细研究了pregel的过程，理解各个过程的作用 a.vprog,作用是处理到达顶点的参数，取较小的那个作为顶点的值 b.sendMsg,计算权重，如果邻居节点的属性加上边上的距离小于该节点的属性，说明从源节点...

最近学习上spark，正在向大数据行列进军。现在开启spark初体验。 一、Spark是什么 首先从官方上的定义，Spark是一个快速的、大数据处理的通用引擎。与hadoop相比快100倍。因为spark是基于内存的，而hadoop把每次都写到硬盘上。由于大量的io处理导致速度变慢。 二、spark架构    Spark的架构分为两部分，一个是以sparkContext为核心的Dr

编译spark的时候一直在MQTT哪里出错，看一下具体所报的错。 [INFO]------------------------------------------------------------------------ [INFO] Building Spark Project External MQTT1.5.2 [INFO]------------------------------

1.linux环境准备   虚拟机用nat方式联网，确保编译时可以联网。 2.安装jdk     2.1上传     2.2解压       #创建文件夹        mkdir /usr/java       #解压        tar -zxvf jdk-7u80-linux-i586.tar.gz -C /usr/java/     2.3将java添加到环境变