云计算与大数据研究系列
Scape1989
科研狗
展开
-
spark的StorageLevel注解
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copy原创 2017-03-10 21:28:05 · 2479 阅读 · 0 评论 -
一致性哈希算法
一致性哈希算法一致性哈希算法在1997年由麻省理工学院提出【1】,其设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP(共用地址冗余协议)【2】十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT(Distributed Hash Table,分布式哈希表)【3】可以在P2P环境中真正得到应用。其实,一致性哈希算法是分布式系统中常用的算法。比如,原创 2017-03-11 11:20:09 · 418 阅读 · 0 评论 -
并行编程模型
在计算领域,并行编程模型是并行计算机体系架构的一种抽象,它便于编程人员在程序中编写算法及其组合。一个编程模型的价值可以通过其通用性(generality)来判断,如不同体系架构的一系列不同的问题能否在该模型中很好地表示以及其性能如何,编译后的程序执行效率有多高等。并行编程模型的实现有两种方式,作为已有的语言的一种扩展,通过库的形式来调用,或者作为一种全新的语言。围绕一个实际的编程模型的共识是重翻译 2017-03-12 17:19:33 · 6955 阅读 · 1 评论