专注海量数据

欲穷千里目,更上一层楼-阿里巴巴hadoop开发

yarn(hadoop2)框架的一些软件设计模式

一、概述 我们都知道,yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面,我们认为yarn模式是新一代的框架,这个在官方等丛多的资料中说明得很详细了。在软件设计方面,我认为主要有以下的一些大的方面的改进:服务生命周期管理模式、事件驱...

2012-11-01 08:13:38

阅读数 10361

评论数 1

hadoop相关的一些技巧

分布式系统比普通程序开发有一些特别的难度,最主要的就是环境问题。本博客将记录怎么去解决这些问题,最主要的是一些脚本。后期会连续更新,目前最主要的技巧有: ssh打通:hadoop在部署的时候,各个机器之间肯定要打通,我们不可能手工去敲每一个命令。所以最好有一个脚本。https://git...

2012-10-22 22:04:26

阅读数 4238

评论数 0

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题 运行yarn的MR程序,发现出现问题,报错: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster...

2012-10-21 14:34:59

阅读数 20522

评论数 4

hadoop2包结构及包功能大致介绍

一、概述 hadoop2的设计细想比hadoop1进步了很多,毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快,出现了很多的软件设计理论 如:领域驱动模型、事件驱动模型、状生命周期管理等,也出现了很多的开源的解决方案,当然开源的方案很多都是起源apache社区。在hado...

2012-10-19 14:29:29

阅读数 7597

评论数 0

编译hadoop2.0(0.23.0)及运行的一些问题

svn co http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.0.0-alpha xxx linux: 参考$HADOOP_HOME/BUILDING.txt 及 $HADOOP_HOME/hadoop-m...

2012-10-18 20:07:27

阅读数 8048

评论数 1

提示
确定要删除当前文章?
取消 删除