Hadoop
文章平均质量分 89
DerekJiang
https://www.linkedin.com/in/nanj1ang
展开
-
Hadoop - Map/Reduce 中的执行参数汇总
其实,在Hadoop的doc主页中,已经对于所有的参数有了详尽的介绍,这里只是为了方便以后查找,将这部分转载过来。-------------------------Configuring Memory Requirements For A JobMapRedu转载 2011-10-10 14:54:14 · 3745 阅读 · 0 评论 -
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
转载自:http://developer.51cto.com/art/201604/509314.htm?utm_source=tuicool&utm_medium=referral-----------------------------我们今天很荣幸的宣布项目Dr.Elephant的开源,这是一个强大的工具,可以帮助Hadoop和Spark用户理解、分析、以及改善系统的性能。在转载 2016-05-05 04:18:36 · 4906 阅读 · 0 评论 -
Dr.Elephant部署指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274559----------------------系统环境要求Dr.Elephant通过Yarn的资源管理器和历史任务服务来获取任务的详细信息。Dr.Elephant对历史任务进行分析,然后把分析结果保存到后台的数据库中,Dr.Elephant默认使用转载 2016-05-05 02:33:36 · 3635 阅读 · 0 评论 -
Dr.Elephant简介
收录自http://blog.csdn.net/qsc0624/article/details/51249020---------Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来。Dr.Elephant的设计目的是转载 2016-05-05 02:25:20 · 3755 阅读 · 0 评论 -
Dr.Elephant用户指南
收录自:http://blog.csdn.net/qsc0624/article/details/51258955--------------------------这篇文章介绍怎么样使用Dr.Elephant来进行任务分析。UI首页Dr.Elephant启动后,首页如下:集群统计信息首页的灰色部分包含了最新的集群信息。这转载 2016-05-05 02:29:07 · 3694 阅读 · 0 评论 -
Dr.Elephant开发者指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274145------------------------创建Dr.Elephant项目获取源代码从Github仓库中获取代码,dr-elephant。编译代码Dr.Elephant项目基于Play框架开发,所以开发Dr.Eleph转载 2016-05-05 02:32:34 · 5542 阅读 · 0 评论 -
Spark:一个高效的分布式计算系统
转自:http://tech.uc.cn/?p=2116----------------------------------------------概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapR转载 2014-03-07 15:17:58 · 5340 阅读 · 1 评论 -
zookeeper学习记录
转自:http://agapple.iteye.com/blog/1111377---------------学习首先就是收集一些前人的一些学习资料和总结内容,方便自己快速入门。 这里罗列了几篇不错的文章: http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ (介绍了zookee转载 2011-12-16 22:50:15 · 2182 阅读 · 0 评论 -
Hadoop - Map/Reduce 通过理解org.apache.hadoop.mapreduce.Job类来学习hadoop的执行逻辑
在我的上篇文章“Hadoop - Map/Reduce 通过WordCount例子的变化来了解新版hadoop接口的变化”中,已经跟大家提到,在Hadoop新的版本中,使用org.apache.hadoop.mapreduce.Job类替代了JobClient类。现在,我想通过对原创 2011-10-08 17:36:23 · 19366 阅读 · 2 评论 -
Hadoop - Map/Reduce 通过WordCount例子的变化来了解新版hadoop接口的变化
-----------------------今天,偶然发现Hadoop主页已经更新了文档,已经有了对于r0.21.0版本的最新文档,大家可以参考:http://hadoop.apache.org/mapreduce/docs/r0.21.0/hadoop的文档还是非常详原创 2011-09-30 10:32:45 · 8855 阅读 · 1 评论 -
Hadoop当前所包含的子项目汇总
目前,Hadoop project下已经包含了很多的子项目,有的是从原有的hadoop项目中细化出来的,有的是在hadoop的基础之上演变出来的,本文只是引用hadoop文档中关于其子项目的介绍,以备了解。The project includes these subp原创 2011-09-29 17:28:04 · 2579 阅读 · 0 评论 -
Dr.Elephant启发式算法指南
这篇文章介绍了Dr.Elephant中默认提供的对于MapReduce任务和Spark任务的启发式算法。分别介绍了每个启发式算法的一些概念以及计算方法。转载 2016-05-06 03:18:08 · 4396 阅读 · 0 评论