![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
11号车厢
生活就是熬
展开
-
YARN调度器Scheduler
文章目录1、Scheduler1.1 FIFO Scheduler1.2 Fair Scheduler2、Fair Scheduler(公平调度器)的配置2.1 公平调度2.2 启用Fair Scheduler2.3 队列的配置2.4 队列的设置2.5 抢占(Preemption)1、SchedulerYarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Sched...原创 2019-07-12 17:23:09 · 174 阅读 · 0 评论 -
HDFS常用命令
操作HDFS文件命令的两种格式:hadoop fs -ls /hdfs dfs -ls /一般我们是使用第二个。下面我们一起看一下 hdfs dfs的一些常见命令:直接查看帮助手册hdfs dfs 回车[hadoop@vm01 ~]$ hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <lo...原创 2019-07-12 09:58:53 · 201 阅读 · 0 评论 -
Hadoop进程pid问题process information unavailable
文章目录我们有时jps查看hadoop进程的时候出现 process information unavailable信息,并没有我们想要的hadoop进程信息,但是ps -ef | grep namenode 发现进程是存在的,这是怎么回事呢![root@hadoop002 ~]# jps1520 Jps26001 -- process information unavailable2...原创 2019-07-12 09:26:33 · 357 阅读 · 0 评论 -
HDFS读写流程详解和副本存放策略
文章目录1、读流程2、写流程3、black副本存放策略1、读流程1)客户端首先调用DistributedFileSystem对象的open方法,去和namenode建立rpc通信,请求namenode返回文件的元信息。2)namenode得到请求,会在内存中寻找文件元信息。找到后给客户端返回部分(读取文件较大)或全部的block列表,即FSDataInputStream对象。3)客户端...原创 2019-07-12 08:12:57 · 538 阅读 · 0 评论 -
HDFS Architecture架构详解
文章目录1、HDFS的三个进程1.1 NameNode(NN,名称节点)1.2 DataNode(DN,数据节点)1.3 SecondaryNameNode(SNN,第二名称节点)2、HDFS架构1、HDFS的三个进程1.1 NameNode(NN,名称节点)存储元数据,内容如下:a.文件名称b.文件目录结构c.文件属性(权限,创建时间,副本数)d.文件–>哪些数据块–>...原创 2019-07-12 08:13:10 · 213 阅读 · 0 评论 -
Hadoop HA集群部署
文章目录1、环境要求2、角色分配3、部署前准备注意:3.1-3.7小节,3台机器都要操作小技巧:CRT发送一条命令,同时操作多台机器3.1 添加用户和相关目录3.2 安装lrzsz并上传软件3.3 关闭防火墙3.4 配置host文件3.5 配置SSH免密码通信3.6 安装jdk3.7 配置时钟同步4、部署ZooKeeper4.1 解压、配置zk环境变量4.2 修改zk配置文件4.3 启动zk集群...原创 2019-07-11 21:32:40 · 260 阅读 · 0 评论 -
Hadoop源码编译以支持压缩
文章目录1、环境要求2、编译前准备2.1 添加用户和相关目录2.2 安装lrzsz并上传软件2.3 安装必要的依赖库2.4 安装JDK2.5 安装maven2.6 配置maven2.7 安装protobuf3、开始编译3.1 编译3.2 测试是否支持压缩1、环境要求hadoop我们下载的是源码包,而不是hadoop-2.6.0-cdh5.7.0.tar.gz包,直接使用它hadoop集群不支持...原创 2019-07-11 14:39:55 · 177 阅读 · 0 评论 -
Hadoop单节点伪分布式部署
文章目录1、环境和安装包2、添加用户和上传软件3、安装JDK4、配置ssh免密码互信5、Hadoop安装6、启动和测试1、环境和安装包一台虚拟机,2核4G经过编译后的hadoop包:hadoop-2.6.0-cdh5.7.0.tar.gz,主要是支持压缩,为后面学习hive压缩等做准备,参考我博客:https://blog.csdn.net/greenplum_xiaofan/articl...原创 2019-07-15 05:33:07 · 211 阅读 · 0 评论 -
YARN常用命令
文章目录概述用户命令节点(node)日志(logs)其他命令rmadmindaemonlog概述yarn命令由bin/yarn下面的脚本调用。不带任何参数运行yarn脚本会打印所有命令的描述。用法: yarn [--config confdir] COMMANDyarn有一个选项解析框架作为运行类用于解析一般的选项。命令选项描述–config confdir覆盖缺省...原创 2019-07-12 18:07:00 · 1225 阅读 · 0 评论 -
YARN的Memory和CPU调优配置详解
文章目录1、内存配置2、CPU配置Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内存、CPU、磁...转载 2019-07-12 17:43:42 · 739 阅读 · 0 评论 -
YARN架构设计
文章目录1、YARN相关角色说明2、MR on YARN流程详解1、YARN相关角色说明YARN是 Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN主要包括几种角色:ResourceManager(RM):主要接收客户端任务请求,接收和监控NodeManager(NM)的资源...原创 2019-07-12 16:32:20 · 430 阅读 · 0 评论