学习笔记 | 大数据 | Hadoop分布式系统基础架构 简介

01 为什么学习Hadoop -> 原因？

• 数据存量和增量极大，极大数据需要存储和分析
• Hadoop可以存储并处理大量数据
• Hadoop编程简单易学

02 Hadoop生态系统

• 更好的学习其他大数据技术HBase、Hive、Spark
• Hadoop 可以理解为是一个计算机集群的操作系统，而 Spark、MapReduce 只是这个操作系统支持的编程语言而已，HDFS 是基于所有计算机文件系统之上的文件系统抽象。同理，YARN 是基于所有计算机资源管理与调度系统之上的资源管理与调度系统抽象，Hadoop 是基于所有计算机的操作系统之上的操作系统抽象。所以如果你一定要进行比较的话，Hadoop 应该和操作系统相比较。
  

数据访问

• HBase是非结构化的数据库，以键值对的形式进行存储。可以在线实时查询。

数据传输