Hadoop简介

Hadoop是一个可靠的开源软件,提供分布式计算框架,解决海量数据存储和计算问题。其核心包括HDFS(分布式文件系统)、MapReduce(计算模型)、Yarn(资源管理器)和Common(整合组件)。HDFS通过NameNode、DataNode和SecondaryNameNode管理数据存储,而MapReduce处理大规模数据计算。Yarn的角色包括ResourceManager和NodeManager,负责集群的任务调度。Hadoop的名称来源于作者儿子的玩具小象,其灵感来源于谷歌的GFS和MapReduce论文。
摘要由CSDN通过智能技术生成

定义: 一个可靠的,可扩展的,可以分布式计算的开源软件(计算框架)

特点:

  1. 使用简单计算模型,在集群中,分布式的处理海量数据

    集群:从硬件的角度分析,代表很多个服务器组成了一个集群

    分布式:从软件的角度分析,代表一个任务在集群中的计算方式

  2. 集群中节点的数量可以从1到成千上万(可扩展),每个节点都可以有独立的计算和存储能力

  3. 相对于在硬件层次上做优化,在应用层做优化会更好

  4. 任何一个节点都可以出现错误。如果一个节点出现问题,还有集群中的其他节点继续完成工作。

Hadoop到底是什么

  1. 从技术的角度分析:

    ​ hadoop就是一个分布式的计算框架

  2. 从大数据的整体角度分析:

    ​ 可以特指hadoop生态圈

主要解决什么问题

  1. 海量数据怎么存?

  2. 海量数据怎么算?

怎么解决这两个问题—四大组件

1. HDFS

Hadoop Distributed File System 分布式的文件系统

解决海量数据怎么存的组件

三个角色:

  1. NameNode

    主节点,全局只有一个,存储的是元数据

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值