云计算
苦海离乱卐
这个作者很懒,什么都没留下…
展开
-
Hadoop Family Job Schedule----Azkaban
Hadoop Family JobSchedule----Azkaban1.1 Azkaban在大量的MR以及Pig等脚本任务产生的时候,必然会需求一个调度平台,Apache 的OOZIE是一个选择,当然Azkaban也是另外一种选择。Azkaban可以对任务进行工作流定义,即每个Job可以依赖别的Job或者主动启动OtherJob。同时该平台提供很完善的Mail Notific原创 2013-09-04 14:43:48 · 1718 阅读 · 1 评论 -
hadoop2.2 hdfs
hdfs 变动 开始使用多个namenode,避免namenode的单点故障。多个namenode是不容许交互的。 block pool 每个namenode 都会有一个自己独立的block pool 用于存储集群上所有datanode的信息,也就是每个namenode都可以独立使用,所存储的数据是一个全集。 所以当一个原创 2013-11-15 11:34:56 · 803 阅读 · 0 评论 -
Mapreduce hadoop 分析
1.1 Mapreduce1.1.1 逻辑过程1.1.2 InputFormat首相 根据context获取到splitInputSplit包含该split所在的location的信息和一个长度信息。【FileInputFormat划分算法:mapred.min.split.sizeGoalSize=FileSize/ugoalNum原创 2015-05-16 09:38:13 · 366 阅读 · 0 评论 -
Hadoop IO RPC FileSystem
MapReduce io rpc filesystem原创 2015-05-16 09:50:06 · 340 阅读 · 0 评论