- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HDFS 2中Namenode启动时WebUI的变化
在HDFS1中NameNode启动顺序是这样的：1. 读取Fsimage文件2. 读取edit logs文件，逐行执行里面的操作3. 写checkpoint，生成新的Fsimage(老的Fsimage + editlogs)4. 进入safe mode，等待datanodes的block reports，直到达到最小的replication数的block百分比才退出
2013-08-30 11:41:18
3865
原创 YARN加载本地库抛出Unable to load native-hadoop library解决办法
用官方的Hadoop 2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable设置logger级别，看下
2013-08-30 10:30:44
27748
9
原创 YARN Distributedshell解析
Hadoop 2.0的源代码中实现了两个基于yarn的application，一个是MapReduce，另一个是被当做如何写application的示例程序----Distributedshell，可以认为它就是YARN的workcount示例程序.distributedshell作用和它名字一样，分布式shell执行，将用户提交的一串shell命令或者一个shell脚本，由Applicati
2013-08-26 19:10:36
6908
原创 LZOP解压查看文件小trick
我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分利用MapReduce分而治之的编程思想和数据本地性。 之前要查看已经put到HD
2013-08-23 11:53:41
10193
原创 ResourceManager架构解析
RM作为master管理着所有的集群资源，它会和NM和特定application的AM共同工作1. NodeManagersNM从RM中获得指令，并管理着单节点上可用资源2. ApplicationMasters负责和RM协调，然后通知NM来启动资源容器RM有如下部件：1. RM和客户端交互的部件ClientRMService
2013-08-22 17:15:37
3227
原创 客户端MapReduce提交到YARN过程（二）
客户端通过RPC协议ClientRMProtocol提交Application，其实是提交了一个SubmitApplicationRequest，在Hadoop 1.0时代，是使用Writable作为序列化和反序列化框架的，而在2.0中hadoop已经废弃掉了，改用了ProtocolBuffer，它除了支持多种语言外最大的好处是向后兼容性，这样不同版本的AM，Client，RM和NM之间能相互通信
2013-08-21 13:19:10
2392
1
原创 客户端MapReduce提交到YARN过程（一）
在Mapreduce v1中是使用JobClient来和JobTracker交互完成Job的提交，用户先创建一个Job，通过JobConf设置好参数，通过JobClient提交并监控Job的进展，在JobClient中有一个内部成员变量JobSubmissionProtocol，JobTracker实现了该接口，通过该协议客户端和JobTracker通信完成作业的提交 public vo
2013-08-20 14:42:50
6869
原创 第二代map-reduce架构YARN解析
需求我们在考虑hadoop map-reduce框架的时候，最重要需求包括:1. reliability 可靠性，主要是resource manager可靠性2. availability 可用性 3. scalability 可扩展性，能支撑10000到20000节点的cluster4. backward compatibility 向后兼容性，支持之前写mapreduce a
2013-08-19 17:56:54
4893
原创 YARN安装配置初体验
本安装在开发实验环境中部署，只涉及到全局资源管理调度系统YARN的安装，HDFS还是第一代，没有部署HDFS Federation和HDFS HA，后续会加上。OS: CentOS Linux release 6.0 (Final) x86_64部署机器：dev80.hadoop 192.168.7.80dev81.hadoop 192.168.7.81dev82.hado
2013-08-19 12:10:54
11491
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人