Pregel图计算模型--------学习笔记

最新推荐文章于 2023-07-19 17:43:59 发布
最新推荐文章于 2023-07-19 17:43:59 发布
阅读量2.6k 收藏 7
点赞数 2
分类专栏： Hadoop 文章标签： 图计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PeixinYe/article/details/79703425
版权
Pregel图计算模型中，每个顶点并行执行用户自定义函数，处理接收到的消息并更新自身及边的状态。顶点拥有可修改的用户自定义值，而边仅作为消息传递的载体。该模型基于消息传递，避免了远程读取和共享内存，提升性能。
摘要由CSDN通过智能技术生成
Pregel计算模型以有向图作为输入
有向图的每个顶点都有一个String类型的顶点ID
每个顶点都有一个可修改的用户自定义值与之关联
每条有向边都和其源顶点关联，并记录了其目标顶点ID

边上有一个可修改的用户自定义值与之关联

边上有一个可修改的用户自定义值

String类型的顶点ID
可修改的用户自定义值

在每个超步S中，图中的所有顶点都会并行执行相同的用户自定义函数
每个顶点可以接收前一个超步(S-1)中发送给它的消息，修改其自身及其出射边的状态，并发送消息给其他顶点，甚至是修改整个图的拓扑结构
在这种计算模式中，“边”并不是核心对象，在边上面不会运行相应的计算，只有顶点才会执行用户自定义函数进行相应计算


采用消息传递模型主要基于以下两个原因：
（1）消息传递具有足够的表达能力，没有必要使用远程读取或共享内存的方式

（2）有助于提升系统整体性能<

最低0.47元/天 解锁文章
PeixinYe
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pregel原理与代码实例讲解
禅与计算机程序设计艺术
05-25 354
Pregel原理与代码实例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大规模图计算的兴起 近年来，随着互联网、社交网络、物联网等技术的快速发展，图数据规模呈爆炸式增长，如何高效地处理和分析这些海量图数据成为了
Pregel（图计算）技术原理
02-24
许多大数据都是以大规模图或网络的形式呈现。许多非图结构的大数据，也常常会被转换为图模型后进行分析。图数据结构很好地表达了数据之间的关联性。关联性计算是大数据计算的核心——通过获得数据的关联性，可以从噪音很多的海量数据中抽取有用的信息。很多传统的图计算算法都存在以下几个典型问题：常常表现出比较差的内存访问局部性针对单个顶点的处理工作过少计算过程中伴随着并行度的改变针对大型图（比如社交网络和网络图）的计算问题，可能的解决方案及其不足之处具体如下：为特定的图应用定制相应的分布式实现基于现有的分布式计算平台进行图计算使用单机的图算法库：比如BGL、LEAD、NetworkX、JDSL、Standfor
图计算模型[转]
weixin_30423977的博客
05-26 265
原文地址：http://www.36dsj.com/archives/14364 对于离线挖掘类图计算而言，目前已经涌现出众多各方面表现优秀而各具特点的实际系统，典型的比如Pregel、Giraph、Hama、PowerGraph、GraphLab、GraphChi等。通过对这些系统的分析，我们可以归纳出离线挖掘类图计算中一些常见的计算模型。 本节将常见的计算模型分为两类，一类是图编程模型，另...
图计算-Pregel-Hama
TxyITxs的博客
05-12 4215
一.图计算简介 1.1 图计算是专门针对图结构数据的处理． 许多大数据都是以大规模图或网络的形式呈现； 许多非图结构的大数据，也常常被转换为图模型后进行分析； 图结构很好地表达了数据之间的关联性； 关联性计算是大数据计算的核心------通过获得数据的关联性，可以从噪音很多的海量数据中抽取有用的信息； 1.2 传统的图计算算法存在典型问题 常常表现出比较差的内存访问局部性； 针对单个节点的处...
pregel 与 spark graphX 的 pregel api
热门推荐
古月慕南的代码世界
04-20 1万+
本文介绍了谷歌的新“三驾马车”之一的pregel图计算框架，并详解了spark graphX中提供的pregel api。
Python-pregel图卷积网络的Tensorflow实现
08-11
3. **TensorFlow**：TensorFlow是Google开发的一个开源库，用于数值计算，特别适合构建和训练深度学习模型。它支持数据流图，可以在多种硬件平台上运行，包括CPU和GPU。 4. **Python编程**：Python是数据科学和机器...
Spark-图计算GraphX
01-27
3. **图数据分析**: 如Google Pregel、Spark GraphX、GraphLab，这些工具专注于图数据的分析和挖掘，提供强大的图计算能力。 4. **图数据可视化**: 通过可视化工具展示图数据，帮助理解复杂关系，如OLTP和OLAP风格的...
graph-metrics:Lehel Boer的BSc论文工作
05-17
Giraph则专为处理大型图数据而设计，它实现了Pregel图计算模型，可以处理复杂的图算法。Flink-Gelly作为Flink的一个组件，提供了丰富的图操作和图算法，如PageRank、最短路径等，方便开发者在Flink环境中进行图分析...
spark-doc(scala).zip
08-19
5. **GraphX**：用于图计算的组件，提供了图的创建、查询和分析功能，支持Pregel等图计算模型。 6. **Spark R** 和 **Spark Python API (PySpark)**：虽然主要关注Scala，但Spark也支持R和Python，提供类似的API，...
apache-storm-0.9.3.tar
12-25
的Pregel和Hadoop，但与Hadoop不同，Storm专注于实时计算，而非批处理。在本案例中，我们关注的是Apache Storm的0.9.3版本，这是一个较早的稳定版本，但仍然包含许多核心功能。 Apache Storm的核心概念包括： 1. **...
tensorflow学习笔记1——计算图模型
qq_40549606的博客
11-05 515
看慕课，内容太多，看了2遍很多细节还是没记住。 现在开始启用笔记…… 1、命令式编程 类似python： x=2 y=3 b=1 z=x*y+b 2、计算图模型 x=T.dscalar(‘x’) y=T.dscalar(‘y’) b=T.constant(1) z=x*y+b f=function([x,y], z) 运行f(2,3)的得array(7.0） 它得计算图模型如下： tensorf...
今天来聊一聊图计算算法
qq_40427481的博客
07-19 103
传统的数据处理方法往往无法有效地处理这些关系，因此需要一种新的算法来揭示隐藏在背后的模式和洞察，并帮助我们做出更明智的决策。常见图计算框架：目前，图计算算法主要依托于图计算框架，如Apache Giraph、Pregel和Apache Flink等。随着图计算算法在敏感领域的应用增加，如医疗和金融等，保护个人隐私和确保算法决策的透明性变得尤为重要。图计算模型：图计算算法建立在图计算模型之上，其中最常见的是图遍历和消息传递模型。大规模图计算：随着数据的不断增长，图计算算法需要应对大规模图数据的处理挑战。
tensorflow计算模型——计算图
lin的博客
11-11 1658
1.计算图的概念 tensorflow中的所有计算都会转化为计算图中的节点 tensor就是张量（即多维数组），flow就是“流”（计算模型：张量之间的计算） tensorflow的每一个计算都是计算图上的一个节点，节点之间的边描述了计算之间的依赖关系。 注：如果一个运算的输入依赖另一个运算的输出，那么这两个运算有依赖关系。 2.计算图的使用 tensorflow程序分两个阶段： 第一阶段：定义计...
tensorflow计算模型（计算图和变量）
DuoKingg的博客
09-25 765
tensorflow计算模型（计算图和变量）
Pregel模型原理
李孟的博客
07-12 1370
一.图简介 图数据结构可以很好的展示关联关系，关联性计算是大数据计算核心，Pregel是一种基于BSP模型实现的并行图处理系统。主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等计算。 二.模型 2.1 简介 Pregel计算模型，输入是一个有向图，该有向图每个顶点（Vertex）是唯一，每个顶点都有属性，这些属性可以被修改，其初始值由用户定义，边也有属性，与顶点关联。 消息（Message），消息是Pregel计算模型的核心。每个 Vertex 在初始状态以及之后的每一个计算步骤当中
图数据库之Pregel
weixin_33831673的博客
03-15 168
/* 版权声明：能够随意转载，转载时请务必标明文章原始出处和作者信息 .*/            author: 张俊林                     节选自《大数据日知录：架构与算法》十四章。书籍文件夹在此   Pregel是Google提出的大规模分布式图计算平台，专门用来解决网页链接分析、社交数据挖掘等实际应用中涉及的大规模分布式图计算问题。1．计算模型    Pregel在...
***Pregel
u014765410的博客
05-09 529
参考博文： Pregel（图计算）技术原理 Spark Pregel参数说明
Spark学习笔记：Pregel API
程序员之怒
05-13 1594
import org.apache.spark.graphx._ // Import random graph generation library import org.apache.spark.graphx.util.GraphGenerators // A graph with edge attributes containing distances val graph: Graph[Int
请在Pregel模型下编程实现s-t最短路径问题，描述思路即可
最新发布
09-11
Pregel模型是一种分布式图计算模型，用于处理大规模图数据。s-t最短路径问题是在一个有向加权图中，给定起点s和终点t，求出从s到t的最短路径。 下面是使用Pregel模型解决s-t最短路径问题的思路： 1. 将图分成多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值