并行程序设计
雪伦_
这个作者很懒,什么都没留下…
展开
-
基于MapReduce的PageRank算法实现
PageRank对网页排名的算法,曾是Google发家致富的法宝。以前虽然有实验过,但理解还是不透彻,这几天又看了一下,这里总结一下PageRank算法的基本原理。1.什么是pagerank PageRank的Page可是认为是网页,表示网页排名,也可以认为是Larry Page(google 产品经理),因为他是这个算法的发明者之一,还是google CEO(^_^)。PageRank算法计算每转载 2016-12-15 19:36:05 · 7441 阅读 · 0 评论 -
分布式机器学习的故事
文章转自王益的《分布式机器学习的故事》1.大数据带来的新机遇一个新时代起源分布式机器学习是随着“大数据”概念兴起的。在有大数据之前,有很多研究工作为了让机器学习算法更快,而利多多个处理器。这类工作通常称为“并行计算”或者“并行机器学习”,其核心目标是把计算任务拆解成多个小的任务,分配到多个处理器上做计算。分布式计算或者分布式机器学习除了要把计算任务分布到多个处理器上,更重要的是把数据(包括训练数据以转载 2016-08-05 16:15:11 · 2169 阅读 · 0 评论 -
OpenMp入门
1.介绍 OpenMp提供了对并行算法的高层的抽象描述,程序员通过在源代码中加入专用的pragma来指明自己的意图,由此编译器可以自动将程序进行并行化,并在必要之处加入同步互斥以及通信。当选择忽略这些pragma,或者编译器不支持OpenMp时,程序又可退化为通常的程序(一般为串行),代码仍然可以正常运作,只是不能利用多线程来加速程序执行。 2.配置 下面是两种配置方式 (1)CodeBlo原创 2016-07-11 12:27:36 · 3298 阅读 · 0 评论 -
MapReduce入门
介绍本文理论部分主要是Google MapReduce,配置&使用是依托阿里云平台。 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念”Map(映射)”和”Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定原创 2016-08-08 11:10:09 · 3629 阅读 · 3 评论