![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
iteye_21054
这个作者很懒,什么都没留下…
展开
-
用C语言实现函数语言中的Map和Reduce操作
在Google 的论文《MapReduce:Simplified Data Processing on Large Clusters》中提到“Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional lanuages.”。对于大部分不熟悉函数语言的程序...2007-06-02 06:02:21 · 342 阅读 · 0 评论 -
有了OpenMP,MPI,为什么还要MapReduce?
OpenMP和MPI是并行编程的两个手段,对比如下: OpenMP:线程级(并行粒度);共享存储;隐式(数据分配方式);可扩展性差; MPI:进程级;分布式存储;显式;可扩展性好。OpenMP采用共享存储,意味着它只适应于SMP,DSM机器,不适合于集群。MPI虽适合于各种机器,但它的编程模型复杂:需要分析及划分应用程序问题,并将问题映射到分布式进程集合;需要解决通信延迟大和负载不平衡两个主要问题...2007-06-02 06:04:45 · 180 阅读 · 0 评论 -
MapReduce:Simplified Data Processing on large Clusters-翻译版(下)
实现拥有多个不同的MapReduce接口的实现是可能的。具体选择取决于环境。比如,一种实现适合于共享内存的机器,一种适合于NUMA(Non-Uniform Memory Access )多处理器,另外一种适合于大量的网络机器。这节将描述在Google内部大量使用,适合于大量PC构成的集群系统这种计算环境的实现。在这个环境中:双CPUx86机器,运行Linux,具有2-4G内存。网络采用的是100M...2007-06-02 06:06:47 · 251 阅读 · 0 评论