Hadoop
Hadoop
火树银花之处
努力追求卓越、成功就会出其不意的找上门来.
展开
-
yarn资源调度
调度流程图client向resourcemanager(RM)提交任务 RM在某一个nodeManager(NM)启动一个对应的applicationMaster(AM) AM向RM注册自己及申请任务需要的资源 RM要求对应NM启动相应的Container AM发送请求到对应NM,启动任务 NM设置Container的运行时环境(jar包,环境变量,任务启动脚本),NM会通过脚本启动任务 启动的过程是由NM的ContainerLauncher负责的,ContainerLauncher完成启原创 2020-05-19 23:45:33 · 197 阅读 · 0 评论 -
hadoop之hdfs简介及入门
hdfs简介及入门1、hdfs是什么?hdfs是一个可以建立在廉价机上的高度容错性和高吞吐量的海量数据存储的分布式文件系统;2、hdfs组成?1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。3)DataNode 负责管理用户的文...原创 2020-03-08 01:42:14 · 395 阅读 · 0 评论 -
hadoop入门及简介
hadoop入门及简介1、hadoop是什么?2、hadoop组成?3、为什么选择hadoop?原创 2020-03-08 00:31:02 · 84 阅读 · 0 评论 -
Hadoop HA(namenode & resoureManager)配置
Hadoop HA(namenode & resoureManager)配置第一步、系统初始化配置hosts 关闭firewalld 关闭selinux 修改limits 添加普通用户hadoop及设置密码 主机间免密(用普通户用设置)第二步、安装zookeeper由于hadoop HA依赖于zookeeper,所以先需要搭建zookeeper集群。...原创 2019-12-04 01:16:32 · 503 阅读 · 0 评论