Hadoop
文章平均质量分 75
Hadoop
bigdata-rookie
随便写点
展开
-
hadoop生态圈组件之yarn
YARN最主要的思想是分离资源管理和任务调度/监控。job TRacker作用:资源管理和任务调度。yarn作用:yarn是hadoop通用资源管理平台,为各类计算框架(离线MR,在线storm,内存计算spark)提供统一资源管理和调度。yarn功能:1、统一资源管理和调度:集群中所有节点的资源(内存、cup、磁盘、网络)抽象为Container。计算框架需要向yarn申请Container,yarn按策略对资源进行调度与Container分配。2、资源隔离:yarn使用了轻量级资源隔离机制Cg原创 2020-11-22 19:45:38 · 29 阅读 · 1 评论 -
Apache 原生 Hadoop 运维命令
hadoop检查相关命令原创 2023-09-18 15:48:55 · 425 阅读 · 0 评论 -
清理hdfs上flink程序残留的文件
hdfs垃圾文件过多,占用过多磁盘原创 2023-04-20 15:01:34 · 784 阅读 · 0 评论 -
CDH版本Hadoop集成Kerberos
CDH版本Hadoop继承Kerberos原创 2022-11-22 16:30:01 · 1089 阅读 · 0 评论 -
Hadoop-3.3.5 全分布式集群部署
一、前期准备1、hadoop-3.2.0安装包http://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz2、配置jdk1.8vim /etc/profile #添加如下信息export JAVA_HOME=jdk安装目录export CLASSPATH=$JAVA_HOME/lib/export PATH=$PATH:JAVA_HOME/bin再保存执行 #source /etc/profil原创 2021-10-11 11:08:49 · 1011 阅读 · 0 评论