Hadoop和Spark 基础框架图

最新推荐文章于 2024-09-16 09:00:00 发布

张章章Sam

最新推荐文章于 2024-09-16 09:00:00 发布

阅读量6.7k

点赞数

文章标签： hadoop spark mapreduce 分布式文件系统

本文链接：https://blog.csdn.net/qq_16103331/article/details/52872845

版权

这里写图片描述

Hadoop的简介

Hadoop是适合于海量数据的分布式存储和分布式计算的框架
两大核心：
    HDFS(Hadoop Distributed File Sytem hadoop分布式文件系统)：分布式存储
    MapReduce:用于分布式计算（批处理 离线计算）
分布式存储
     把一个整体文件拆分成多个模块，存储在不同的主机上，通过对不同主机的上文件块（block）在内存中的映射
  来对这些文件进行管理。
分布式计算
     把一个比较复杂的计算任务，分解成许多个简单的小的计算任务，在不同的机器上运行，得到结果，最后将这些
  机器上的结果进行汇总，得出最终结果。

Hadoop的常见版本

Apache  原生
CDH--国内使用主流
HDP--HortonWorks
Hadoop的4大模块
    Hadoop Common
        The common utilities that support the other Hadoop modules.
    Hadoop Distributed File System(HDFSTM)
        A distributed file system that provides high-throughput access to application data.
    Hadoop Yarn
        A framework for job scheduling and cluster resource management.
    Hadoop MapReduce
        A YARN-based system for parallel processing of large data sets.