![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
fogmeng2011
这个作者很懒,什么都没留下…
展开
-
Hadoop1 MRv1中的局限性
·扩展性差。在MRv1中,jobtracker同时兼备了资源管理器和作业控制两个功能。这成为系统的一大瓶颈,严重制约着hadoop集群的发展。可靠性差。在MRv1中,采用master/slave结构,master存在单点问题,一但单点出现故障,整个集群将不可用。资源利用率低。MRv1采用基于槽位的资源分配模型,槽位是一种粗粒度的资源划分单位,通常一个任务不会用完槽位对应的资源,而且其他资源也无法使原创 2015-03-11 23:45:12 · 1933 阅读 · 0 评论 -
Hadoop ha简介
1、NameNode单点故障解决方案不够完善 HDFS2允许为每个namenode配置backupnamenode,也就是namenode 热备,这样主节点namenode出现问题时,可以立刻切换到backnamenode,但实现仍不完美。namenode和backnamenode之间通过共享存储系统同步元数据信息,所以这套HA方案也存在单点问题,也就是这个共享存储系统,比较遗憾的是共享存储系统转载 2015-03-12 20:48:34 · 804 阅读 · 0 评论 -
heap与stack有什么区别?
在jvm中功能:heap在jvm中充当数据区作用,stack在jvm中为内存指令区。heap保存对象实例, 实际是保存对象实例的属性值、属性的类型和对象本身的类型标记,但并不保存对象的方法,方法是指令保存在stack中。stack中存放着基本数据类型(byte,int,short,char,long,float,double,boolean)和方法内部的局部变量。,对象实例在heap中分配好以后,原创 2015-03-13 23:25:43 · 408 阅读 · 0 评论 -
[Java教程]从HDFS下载文件到本地
String file="hdfs://localhost:9000/user/Administrator/fooo/j-spatial.zip";//hdfs文件 地址 Configuration config=new Configuration(); FileSystem fs=FileSystem.get(URI.create(file),config);//构建FileSyst转载 2015-03-24 11:36:13 · 1195 阅读 · 0 评论