- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 【大数据】【Hadoop】4、Hadoop系统的组成（Hadoop2.x）
文章目录Hadoop2.X简介；一、容器二、节点管理器三、资源管理器四、应用程序管理器五、 YARN 请求分解Hadoop2.X简介；Hadoop 2.0，经常被称为 MapReduce2.0（MR v2)或者 YARN。MR v2 是一套应用编程接口（API)，该接口兼容 MR v1，根据 MR v1 接口编写的程序仅需重新编译即可。Hadoop 2.x 系统的底层架构已经完全改变了，Hadoop 1.x 中的作业调度器担两个主要功能：资源管理(Resource management)作业调度/
2022-05-14 15:12:38
1170
原创 【大数据】【Hadoop】1、MapReduce编程模型
文章目录一、概念二、实例一、概念Hadoop 系统支持 MapReduce 编程模型，这个编程模型由谷歌公司发明，该模型可以利用由大量商用服务器构成的大规模集群来解决处理千兆级数据量的问题。MapReduce 模型有两个彼此独立的步骤，这两个步骤都是可以配置并需要用户在程序中自定义：Map：数据初始读取和转换步骤，在这个步骤中，每个独立的输入数据记录都进行并行处理。Reduce：一个数据整合或者加和的步骤。在这个步骤中，相关联的所有数据记录要放在一个计算节点来处理。Hadoop 系统中的 Ma
2022-05-14 14:13:22
607
原创 【大数据】【Hadoop】3、Hadoop系统的组成（Hadoop1.x）
文章目录前言名称节点（NameNode)辅助名称节点（Secondary NameNode)数据节点(DataNode)作业跟踪器（JobTracker)任务跟踪器（TaskTracker)两种类型节点主节点从节点：一、Hadoop分布式文件系统Hadoop 文件的本质是块存储二、文件元数据和名称节点三、辅助名称节点前言我们先介绍构成 Hadoop 1.x系统的组件，再介绍构成 Hadoop 2.x 系统的新组件。宏观上说，Hadoop 1.x 系统有以下几个守护进程：名称节点（NameNode)维
2022-05-14 14:10:10
2278
原创 【大数据】【Hadoop】2、Hadoop安装
文章目录一、准备工作二、下载安装Hadoop1、下载安装包，解压安装2、启动一、准备工作安装Jdk1.8，（必须）并配置JAVA_HOME环境变量；（步骤略）二、下载安装Hadoop本次采用Hadoop3.2.3版本1、下载安装包，解压安装国内阿里云镜像下载wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz任选一目录，解压tar -xvf hadoop-3.
2022-05-12 21:40:50
577
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人