大数据 相关框架及技术栈简介

一. Hadoop

        Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。

        Hadoop主要有：（1）高可靠性：Hadoop底层维护多个数据副本

                                   （2）高扩展性：可方便的扩展数以千计的节点。

                                   （3）高效性：在MapReduce的思想下，Hadoop是并行工作的

                                   （4）高容错性：能够自动将失败的任务重新分配。

   主要由三部分构成：（1）HDFS，是一个分布式文件系统。

                                   （2）Yarn是 Hadoop 的资源管理器。

                                   （3）MapReduce 负责运算。

二. Spark