各种大数据工具架构

版权声明:本文为博主原创文章,转载请在文章开头注明出处,作者:ChenVast;原文链接: https://blog.csdn.net/ChenVast/article/details/72866506

大数据的概念

大数据的特点可以用4个V来描述:Volume(大)、Variety(多)、Velocity(快)、Value(低)

 

大数据管理:

Hadoop是Google GFS以及MapReducc系统的开源实现,用户可以在不了解分布式底层细节的情况下开发分布式程序,但是无法做到动态和实时的分析。

流计算系统能够处理实时的数据流,实时分析系统主要采用传统的MPP技术从海量数据中实时提取有价值的汇总信息::

 

大数据理解:

大数据内部以及数据和数据之间关系的理解涉及数据挖掘、机器学习、多媒体理解等多个前沿领域的技术

 

大数据应用:

大数据技术应用在互联网营销将产生彭妾的商业价值

 

 

MapReduce

MapReduce框架会自动处理数据划分、多机并行执行、任务之间的协调,并且能够处理某个任务执行失败或者机器出现故障的情况。


框架实现时主要做了两点优化:

本地化:尽量将任务分配给离输入文件最近的MaP进程,

备份任务:如果某个Map或者Reduce任务执行的时间较长,主控进程会生成一个该任务的备份并分配给另外一个空闲的Map或者Reduce进程。

框架有效地解决了海量数据的离线批处理问题,

 

Google Tenzing:基于MapReduce模型构建SQL执行引擎、直接用SQL处理大数据

Microsoft Dryad:

 

Google Pregel:图像模型迭代计算

 

 

 

GoogleTenzing

 

 

MicrosoftDryad

 

 

GooglePregel

 

 

流式计算

流式计算解决在线聚合、在线过滤等问题,流式计算同时具有存储系统和计算系统的特点,

原理

流式计算强调的是数据流的实时性。

 

 

YahooS4

 

 

TwitterStorm


 

 

实时分析

MPP架构

并行数据库往往采用MPP架构

MPP架构是一种不共享的结构,每个节点可以运行自己的操作系统、数据库等。

常见的数据分布算法有两种:范围分区、哈希分区

 

 

EMCGreenplum

EMC公司研发的一款采用MPP架构的OLAP产品,底层基于开源的PostgreSQL数据库。

 

 

HPVertica

的学术研究项目C-Store的商业版本,

 

 

 

GoogleDremel

是Google的实时分析系统,可以扩展到上千台机器规模,处理PB级别的数据。

还是GoogleBigtable服务的底层存储和查询引擎。


阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页