Hadoop大数据解决方案

原创 2015年11月17日 16:54:01

传统的企业方法

         在这种方法中,一个企业将有一个计算机存储和处理大数据。对于存储而言,程序员会自己选择的数据库厂商,如Oracle,IBM等的帮助下完成,用户交互使用应用程序进而获取并处理数据存储和分析。

 

局限性

         这种方式能完美地处理那些可以由标准的数据库服务器来存储,或直至处理数据的处理器的限制少的大量数据应用程序。但是,当涉及到处理大量的可伸缩数据,这是一个繁忙的任务,只能通过单一的数据库瓶颈来处理这些数据。

 

谷歌的解决方案

       使用一种称为MapReduce的算法谷歌解决了这个问题。这个算法将任务分成小份,并将它们分配到多台计算机,并且从这些机器收集结果并综合,形成了结果数据集。

 

Hadoop

        使用谷歌提供的解决方案,DougCutting和他的团队开发了一个开源项目叫做HADOOP。

        Hadoop使用的MapReduce算法运行,其中数据在使用其他并行处理的应用程序。总之,Hadoop用于开发可以执行完整的统计分析大数据的应用程序。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop大数据解决方案

  • 2017年04月05日 15:21
  • 2.34MB
  • 下载

基于ASP.NET + SqlSever 大数据解决方案 PK HADOOP

半个月前看到有人说.NET不行那篇文章,我只想说你们有时间去抱怨不如多写些实在的东西。    1、SQLSERVER优点和缺点?      优点:支持索引、事务、安全性以及容错性高 ...

大数据学习篇:hadoop深入浅出系列之HDFS(七) ——小文件解决方案

小文件指的是那些size比HDFS的block size(默认128M)小的多的文件。任何一个文件,目录和block,在HDFS中都会被表示为一个object存储在namenode的内存中,每一个ob...

大数据的解决方案--------NoSQL和Hadoop

NoSQL是近年来发展非常迅速的一项技术,它的核心就是非结构化。我们一般使用的数据库(SQL数据库)都是需要先将表的结构定义出来,一个表有几个字段,每个字段各是什么类型,然后才能往里面按照相应的类型保...

hadoop 构建与实现大数据解决方案

  • 2014年08月28日 12:43
  • 2.47MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop大数据解决方案
举报原因:
原因补充:

(最多只允许输入30个字)