hadoop
文章平均质量分 93
phenix_alice
ict在读学生
微信:18519338366
展开
-
hadoop心得
以下是我的心得,欢迎指正~map任务数量的设置:提交的一个文本就是一个map任务:InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片,每一个分片会由一个map任务来进行处理。可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。mapred.map.tasks参数,只有当InputFormat 决定了map任务的个数比mapred原创 2017-09-06 16:46:53 · 1592 阅读 · 0 评论 -
【Hadoop源码】注解: InterfaceAudience和InterfaceStability
这两个注解主要是用来标示一些类和方法。InterfaceAudience 类包含三个注解类型,用来被说明被他们注解的类潜在的使用范围(audience)。@InterfaceAudience.Public: 对所有工程和应用可用@InterfaceAudience.LimitedPrivate: 仅限于某些特定工程,如YARN,MapReduce等@InterfaceAudience...原创 2018-04-25 14:47:53 · 1139 阅读 · 0 评论 -
yarn中资源调度fair scheduler详解(转)
Fair Scheduler将整个Yarn的可用资源划分成多个资源池,每个资源池中可以配置最小和最大的可用资源(内存和CPU)、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。现在一般的大数据平台也都提供了可配置的界面:以TDH为例:de...转载 2018-05-01 16:20:49 · 2187 阅读 · 0 评论 -
【hadoop源码分析】——package org.apache.hadoop.yarn.sls.appmaster.AMSimulator
TaskRunner类的位置:package org.apache.hadoop.yarn.sls.appmaster;访问权限和继承关系:public abstract class AMSimulator extends TaskRunner.Task{},由于AMSimulator 继承于TaskRunner.Task。那么我们回顾一下TaskRunner.Task这个类(详细的请看我上一...原创 2018-04-19 22:10:26 · 162 阅读 · 0 评论 -
【hadoop源码分析】——org.apache.hadoop.yarn.sls.scheduler.TaskRunner
TaskRunner类的位置:package org.apache.hadoop.yarn.sls.scheduler;TaskRunner类概览: 分析:该类由一个静态类Task和几个方法和变量组成。其中静态嵌套抽象类Task实现了Runnable和Delayed接口。 其中的变量包括DelayQueue queue和ThreadPoolExecutor execu...原创 2018-04-12 11:00:52 · 259 阅读 · 0 评论 -
【hadoop源码分析】——org.apache.hadoop.yarn.sls.SLSRunner
类内方法概览: public static void main(String args[]) throws Exception处理参数 bin/slsrun.sh --input-sls=$dir/my-input/sls-jobs.json --nodes=$dir/my-input/sls-nodes.json --output-dir=$dir/my-logs/ --tra...原创 2018-04-11 19:57:54 · 373 阅读 · 1 评论 -
Resource Manager没有启动?
原因:调度器配置中叶子队列的比例加起来不等于100原创 2018-01-19 15:06:03 · 2338 阅读 · 0 评论 -
Yarn Scheduler Load Simulator (SLS)
注意:所有的“工作负载跟踪”就是指真实的trace文件。 此文为官网翻译:Yarn Scheduler Load Simulator (SLS)概览简介YARN 调度器有很多不同的实现,如FIFO Scheduler、Capacity Scheduler 和FairScheduler 等。每个调度算法都有其自己的特征,而调度的决策受许多因素影响,如公平性、容量保证和资源的可靠性等原创 2017-12-25 17:08:33 · 1546 阅读 · 1 评论 -
SLSDemo监控界面
视频地址:https://www.youtube.com/watch?v=6thLi8q0qLE git:Yarn Scheduler Load Simulator原创 2018-01-03 10:51:37 · 507 阅读 · 0 评论 -
hadoop HDFS常用文件操作命令
命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /2.rmhadoop fs -rm < hdfs file > ...hadoop fs -rm -r < hdfs dir>...原创 2017-12-14 16:34:14 · 272 阅读 · 0 评论 -
刷新yarn集群的队列
执行命令:${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues 或yarn rmadmin -refreshQueues (第二个适用于已经把hadoop的bin目录添加进系统路径下,比如我,嘻嘻(#^.^#))原创 2017-12-14 15:46:36 · 3967 阅读 · 0 评论 -
hadoop集群启动失败
问题描述:以yarn为资源管理器的hadoop集群中,启动失败。具体表现为:执行过start-all.sh之后,集群启动且无报错信息,但是web界面显示的结果与配置文件中的不符合。解决思路:首先查看主节点的resourceManager相关日志文件,查看报错信息。重点看”caused By”之后的信息。发现地址无法绑定。依次查看所有从节点的logs目录下的nodemanager相关的日志文件,同原创 2017-12-14 15:37:10 · 2085 阅读 · 0 评论 -
hadoop:datanode无法正常启动的解决办法(转)
转自:https://blog.csdn.net/newfelen/article/details/14446281hadoop 多次执行命令:hadoop namenode -format后,发现再次启动hadoop后,datanode节点无法正常启动,出现错误代码如下:could only be replicated to 0 nodes, instead of 1,产生这样的错误...转载 2018-06-07 20:47:31 · 9690 阅读 · 1 评论