- 博客(5)
- 收藏
- 关注
RSS订阅原创 NodeManagerMetrics上精确化Container指标监控
前言在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简简单单介绍某几个指标监控的含义和如何添加自定义Metric指标监控这样的内容,关键点在于2个字,精化.精化的潜在意思有2个,1个是在原有监控的指标的基础上,增加更细粒度的监控,去改善原有监
2015-11-28 22:10:30
4125
1
原创 Hadoop动态调整Map Task内存资源大小
前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部,还可以再分为TaskAttempt,叫做任务尝试,任务尝试姑且不在本篇文章的论述范围内.OK,针对每个Task,他当然会有他的资源使用量,广义的来讲,资源分为2个概念,1个是Memory
2015-11-23 23:08:20
7985
3
原创 Hadoop关键任务Job资源隔离方案
前言在目前的Hadoop集群中,对于所有的用户Job来说,态度都是一致的,也就是说,"来者不拒",但是如果集群的平均Job运行数量上去的,就免不了会出现资源的滥用现象了,之前介绍过几篇相应的文章,不过主题都是偏向于监控问题的,并不是解决方案.比如说自定义Hive Sql Job分析工具,还有这篇文章Hadoop异常Task发现分析, 重新回到主题,一般如果一个稍微到了一定规模的程度时,应该会出现所
2015-11-15 22:08:27
7625
原创 HDFS数据资源使用量分析以及趋势预测
前言Hadoop系统作为一个比较成熟的分布式系统，他被人们常常定义为一个存储海量数据的地方，与MySQL这里传统的RDBMS数据库有着明显的不同。Hadoop拥有着他天然的优势，他可以存储PB级别的数据，只要你的机器够多，我就可以存那么多，而且帮你考虑了副本备份这样的机制，只能说，Hadoop这一整套体系真的很完善。说到Hadoop的海量数据存储量，每一天的数据增量可以基本达到TB级别，对于一个类
2015-11-09 08:41:40
6658
3
原创 作为一名非Commiter，如何向开源社区提交自己的代码
前言作为一名职业程序员，如果去除待遇，薪资等等的因素考虑，从纯技术的角度出发，如何才能达到一个比较高的境界呢，答案是与最顶尖的那一批人交流合作，当然，最顶尖的那批人很多几乎估计都不在身边，而且大多在国外。那么难道就没有办法了吗，不是的，不要忘了还有网络这个东西，可以通过社区，邮件进行交流，提出自己的想法。这些人往往活跃于许多开源社区，比如Apache.下面有很多的子项目，都是非常棒的系统。所以本文
2015-11-02 08:19:20
11245
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人