博客专栏  >  综合   >  大数据架构

大数据架构

大数据架构的简单梳理

关注
1 已关注
5篇博文
  • 大数据架构简述(一):大数据的本质

    1.大数据是什么 大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infras...

    2017-06-02 12:43
    343
  • 大数据架构简述(二):数据获取

    1.数据分类 按数据形态,我们把数据分为结构化数据和非结构化数据两种。 结构化数据如传统的Data Warehouse数据,字段有固定的长度和语义,计算机程序可以直接处理 非结构化数据有文本数据、图像...

    2017-06-02 13:37
    427
  • 大数据架构简述(三):流处理、批处理、交互式查询

    我们将大数据处理按处理时间的跨度要求分为以下几类 基于实时数据流的处理,通常的时间跨度在数百毫秒到数秒之间 基于历史数据的交互式查询,通常时间跨度在数十秒到数分钟之间 复杂的批量数据处理,通常的时间跨...

    2017-06-02 14:31
    1886
  • 大数据架构简述(四):机器学习和数据挖掘

    1.概念 机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新...

    2017-06-02 15:01
    346
  • 大数据架构简述(五):资源管理、存储、云

    1.资源管理 1.1 资源管理的目标 子系统的高效调度、提高全系统的资源利用率、支持动态调整切分资源、增强系统扩展性 1.2 Hadoop领域的资源调度框架 Hadoop领域的资源调度框架主要有YAN...

    2017-06-02 15:15
    211

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部