分布式计算

原创 2007年10月04日 11:58:00

海量计算

1. http://lucene.apache.org/hadoop/

Hadoop is a software platform that lets one easily write and run applications that process vast amounts of data.

Here's what makes Hadoop especially useful:

  • Scalable: Hadoop can reliably store and process petabytes.
  • Economical: It distributes the data and processing across clusters of commonly available computers. These clusters can number into the thousands of nodes.
  • Efficient: By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This makes it extremely rapid.
  • Reliable: Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.  

分布式缓存

1.http://www.danga.com/memcached/

memcached is a high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load.

分布式计算框架综述

本来是发表到科技论在线的,谁知道被退稿了,那就发到这里来吧。 0      引言 随着互联网的发展,web2.0时期[1]的到来,人类正式进入了信息爆炸时期的。海量的信息在很多应用都会出现,比...
  • s120922718
  • s120922718
  • 2014年01月02日 10:25
  • 9953

分布式计算的发展

 有以下五个主要原因使得分布式计算必然会越来越普遍,逐渐发展成主流的计算模式而取代集中式的大型计算机: 现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能价格比。你不要花几十万美元就能获得...
  • ziiye_leaf
  • ziiye_leaf
  • 2009年04月28日 10:31
  • 1594

大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce)

hadoop的核心分为两块,一是分布式存储系统-hdfs,这个我已经在上一章节大致讲了一下,另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-va...
  • MINEZHANGHAO
  • MINEZHANGHAO
  • 2014年11月03日 10:33
  • 4806

分布式计算实践(C#)-2

因为是模拟和试验,很多地方我都没有做得很完善,能省则省了,因为我采用的是对等结构,这里讲一下计算节点的结构,一个计算接点包含三个基本的功能:1)外部任务请求管理:负责接收外部请求的计算任务,并根据客户...
  • hawksoft
  • hawksoft
  • 2013年05月31日 11:39
  • 2494

科普:并行计算、分布式计算、集群计算和云计算

1. 并行计算(Parallel Computing)     并行计算或称平行计算是相对于串行计算来说的。并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程...
  • wm_1991
  • wm_1991
  • 2015年12月11日 08:25
  • 9747

分布式计算框架体设计

1概述 本文是描述的是关于“分布式计算框架”(英文全称Distribute Compute Framework,简称DCF)的设计相关内容。为方便起见,以下将系统名称简称为DCF。 DCF内部采用...
  • yanweiqi
  • yanweiqi
  • 2013年07月20日 17:39
  • 941

浅谈分布式计算的开发与实现(2)

阅读目录: 实时计算storm简介流式计算归纳总结高容错性 实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时...
  • buaa_shang
  • buaa_shang
  • 2015年11月19日 00:25
  • 676

开源分布式计算系统框架比较

分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于 Apache 基金...
  • ziyunhx
  • ziyunhx
  • 2015年05月07日 16:01
  • 1581

简明易懂的分布式计算模型

开场读了 陈绍业.大规模分布式系统架构与设计实战[M]机械工业出版社,2014.2。根据里面的模型延伸。开发中用到了分布式计算的系统。但是没有仔细去琢磨其中的设计理念。本文延伸书中的内容,尝试用更简单...
  • q471133417
  • q471133417
  • 2016年07月16日 01:06
  • 340

【环境搭建】hadoop分布式计算开发环境搭建

安装前准备(各服务器环境保持一致) 硬件环境 hadoop只能安装在linux或unix服务器之上。 3台或以上linux服务器(h1,h2,h3)。如果使用windows服务器,则需要安装...
  • shorn
  • shorn
  • 2012年07月09日 19:51
  • 1179
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:分布式计算
举报原因:
原因补充:

(最多只允许输入30个字)