大数据是为解决海量数据采集、存储和计算。
hadoop是又Apache基金会所开发的分布式系统基础架构,主要是为解决海量数据的存储和海量数据的分析计算问题。
Hapood生态圈:
①高可靠性:hadoop底层维护多个数据副本,所以即使hadoop某个计算元素存储出现故障,也不会导致数据丢失
②高扩展性:在集群间分配任务数据,可方便的扩展数数以千计的节点
③高效性:在MapReduce的思想下,Hadoop的并行工作的,以加快任务处理速度。
④高容错性: 能够自动将失败的任务重新分配
在这里主要是介绍:hadoop 3.x
数据储存的组件:
NameNode:存储文件的元数据,入文件名,文件目录,文件属性(生成时间、副本数、文件权限,以及每个文件的块列表和块所在的DataNode)。
DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。
yarn:是一种资源协调者,是hadoop的资源管理器。