- 博客(4)
- 收藏
- 关注
RSS订阅原创 初次与erlang见面
学习分布式相关知识也有一年多了，最早是从hadoop开源项目开始，在几个月前打算学习erlang，但是由于时间关系，一直没有进行，也买了那本经典erlang的E文书，昨天把书过了一遍，在网上找了些文档，安装了一下开发环境，以及运行了一些简单实例，有一种想见恨晚的感觉，接下来的学习列表会多加一个东西，那就是erlang，由于它最早是来自于电信行业，不得不提在目前的电信行业，并发量和高性能还是很重要的，所以erlang在这些方面肯定不差。 贴一个快速排序的代码： sort([]) ->[]; sort([
2010-12-26 15:37:00
2173
原创 Capacity Scheduler and Dynamic Scheduler
CapacityTaskScheduler链接：http://hadoop.apache.org/common/docs/r0.19.2/capacity_scheduler.htmlhttp://hadoop.apache.org/common/docs/r0.20.2/capacity_scheduler.htmlhttps://issues.apache.org/jira/browse/HADOOP-3445特性：支持多个队列，每个job 只会被提交到一个队列上。每个队列被分配了集群容量的一部分容量
2010-12-21 22:36:00
2247
原创 hadoop中的streaming和pipes
Streaming应用程序在提交streaming job的命令样例，需要指定JAR包以及相应的参数值。$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar / -input myInputDirs / -output myOutputDir / -mapper myPythonScript.py / -reducer /bin/wc / -file myPythonScri
2010-12-11 18:10:00
3813
4
原创 FairScheduler(公平调度器)的源码阅读
FairScheduler是hadoop中的作业公平调度器，主要是解决当TT发送心跳告诉JT当前的空闲slots时，希望JT分配给TT相应多个task，让TT去执行这些task。所以JT就需要一个调度器来对作业进行调度，选择出作业，然后将作业的task分配TT去执行。而hadoop中的task可以分为map,reduce,jobsetup,jobcleanup,taskcleanup这五种task。关于setup,cleanup task的信息在https://issues.apache.org/jira/
2010-12-05 14:52:00
4519
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人