Hadoop
hadoop知识点
你的骑士_
这个作者很懒,什么都没留下…
展开
-
hadoop各组件及其作用
Hadoop是一个适合海量数据分布式存储和计算的一个平台。目前主要由三大组件组成: HDFS 、mapreduce、Yarn。 HDFS:是一个分布式存储框架,适合海量数据的存储 mapreduce : 是一个分布式计算框架。适合海量数据的计算 Yarn:是一个资源调度平台,负责给计算框架分配资源 1.HDFS 主从结构,由namenode和datanode组成。其中namenode最多可以有两个,但同时只能有一个。datanode理论上可以有无限个,极限大概是4000台。 namenode负责:原创 2020-05-25 21:30:59 · 10708 阅读 · 1 评论 -
Hadoop从零开始的搭建(伪分布式)
对于电脑性能不理想的同学来说,要想搭建hadoop集群可能就会失败, 本文主要介绍如何在Centos6.5 虚拟机上成功搭建伪分布式Hadoop平台。 目录一.配置Linux模板机1.1 禁用桌面1.2 配置网络1.3 关闭防火墙1.4 安装JDK1.5 切换yum源1.6 时间同步二. 克隆虚拟机2.1 修改主机名2.2 删除网卡配置2.3 配置hosts2.4 修改ip地址2.5 重启三. 单节点搭建3.1上传解压配置环境变量3.2 配置免密钥登陆3.3修改hadoop配置文件3.4初始化集群3.4原创 2020-05-25 20:13:54 · 348 阅读 · 0 评论