初学Hadoop

分布式和集群区别：

集群分布式：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事

集群：集群主要是将同一个业务，部署在多个服务器上，多个人在一起做同样的事Hadoop是哪种分布式架构模式？主从模式（中心化模式）的架构

Hadoop介绍：

Hadoop是Apache软件基金会下的顶级开源项目，用以提供：•分布式数据存储•分布式数据计算•分布式资源调度为一体的整体解决方案。Apache Hadoop是典型的分布式软件框架，可以部署在1台乃至成千上万台服务器节点上协同工作。个人或企业可以借助Hadoop构建大规模服务器集群，完成海量数据的存储和计算。

Hadoop是一个集合了：存储、计算、资源调度为一体的大数据分布式框架

Hadoop包含Apache这款开源框架，它的核心组件有：➢HDFS（分布式文件系统）：解决海量数据存储➢MAPREDUCE（分布式运算编程框架）：解决海量数据计算➢YARN（作业调度和集群资源管理的框架）：解决资源任务调度Hadoop框架内容⚫狭义解释⚫广义解释广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

HDFS的概述

⚫在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。

⚫HDFS（Hadoop Distributed File System）是Apache Hadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统. HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统.

⚫分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。

HDFS的特点：

⚫HDFS文件系统可存储超大文件，时效性稍差。

⚫HDFS具有硬件故障检测和自动快速恢复功能。

⚫HDFS为数据存储提供很强的扩展能力。⚫HDFS存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改。⚫HDFS可在普通廉价的机器上运行。