- 博客(15)
- 资源 (9)
- 收藏
- 关注
原创 对于HDFS中元数据的一些疑问,欢迎大家讨论
HDFS中元数据中是否有冗余?如果有冗余那么冗余机制是什么?冗余写入过程是什么?HDFS中元数据是否有读写权限?如果有权限,通过什么方式控制权限?客户端与元数据是否存在同步问题,如果存在那么如何同步?是否有元数据锁?是否支持entry锁? 期待您的详细交流,邮箱fly542@
2011-09-26 16:24:23 2022
原创 对Hadoop-HDFS性能造成重大影响的杀手-Shell
在测试Hadoop时, 使用NameNode身上的dfshealth.jsp管理页面发现,DataNode在运行的过程中,Last Contact参数时常会超过3。LC(Last Contact)的意思是表明DataNode有多少秒的时间未向NameNode发送心跳包了。然而默认
2011-09-25 16:08:34 3247
原创 HDFS的缺点及改进策略
HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳:低延时访问HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所
2011-09-25 16:03:33 3543 1
原创 HDFS详细介绍
HDFS:(Hadoop Distributed File System)分布式文件系统,提供高吞吐量的应用程序数据访问,对外部客户机而言,HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 HDFS 的架构是基于一组特定的节点构建的,这是由它自身
2011-09-25 15:58:49 10577 3
原创 Hadoop入门介绍
Hadoop这个名字不是一个缩写,它是一个虚构的名字。该项目的创建者,Doug Cutting如此解释Hadoop的得名:"这个名字是我孩子给一个棕黄色的大象样子的填充玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子是这方面的高手。Go
2011-09-23 14:53:11 39689 8
原创 云计算技术汇总
虚拟化技术 虚拟化技术将物理资源进行了替换,呈现给用户的是一个与物理资源有相同功能和接口的虚拟资源,可能是建立在一个实际的物理资源上,也可能是跨多个物理资源,用户不需要了解底层的物理细节。虚拟化技术根据对象不同,可分为存储虚拟化、操作系统虚拟化和应用虚拟化等。 弹
2011-09-22 15:09:38 2565
转载 hadoop心跳机制解析
心跳的机制大概是这样的:1) master启动的时候,会开一个ipc server在那里。2) slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节
2011-09-21 14:29:14 11778
原创 程序员--工作四年后该如何进行职业规划
毕业工作四年了,总体工作上来说,大部分的工作内容是处于上层应用开发,并没有坐到自己毕业时想象的那样,工作几年掌握一定的核心技术,做到某一方面公司无法离开的地步。总结一下,这个可能跟前面几年自己的工作方法有关系,因为一直从事技术开发工作,平时的工作任务和进度都比较紧张,当休息的时候
2011-09-13 10:27:30 3465 3
原创 再谈bridge模式理解小例子
今天回头看了原来写的bridge模式的文章,感觉还是太泛化、理论,不能够方便快速的理解,下面就借这《大话设计模式》中有关bridge模式的解释来谈谈实际实际应用解决的问题。手机品牌和软件是两个概念,不同的软件可以在不同的手机上,不同的手机可以有相同的软件,两者都具有很大的变动
2011-09-08 15:50:14 3559
转载 马云内部邮件:新入职员工勿批判公司
再一次和新同事们谈谈看法 看了最近内网中各类有意思的讨论,私下里也听了很多老同事对今天新同事特别是那些80后,90后同事们的不理解和不满。。。。。前段时间我们讨论了感恩和敬畏之心,当然光有那些是不够的。我们还要有正确做事的方法,特别是做正确事的决心!对今天年轻人的浮躁和做事
2011-09-08 13:20:43 2006
原创 Ubuntu 更新源地址列表及更改方法
1、首先备份Ubuntu 11.04源列表 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup (备份下当前的源列表,有备无患嘛) 2、修改更新源 sudo gedit /
2011-09-07 22:28:34 126616 10
原创 学习算法需要了解学习的相关知识
一、图论 路径问题 0/1边权最短路径 BFS 非负边权最短路径(Dijkstra) 可以用Dijkstra解决问题的特征 负边权最短路径
2011-09-07 10:23:46 2291 1
原创 如何学好算法
第一阶段:练经典常用算法,下面的每个算法给我打上十到二十遍,同时自己精简代码, 因为太常用,所以要练到写时不用想,10-15分钟内打完,甚至关掉显示器都可以把程序打 出来. 1.最短路(Floyd、Dijstra,BellmanFord) 2.最小生成树(先写个p
2011-09-07 10:21:35 2098
原创 vi 基本命令
vi filename :打开或新建文件,并将光标置于第一行首 vi +n filename :打开文件,并将光标置于第n行首 vi + filename :打开文件,并将光标置于最后一行首 vi +/pattern filename:打开文件
2011-09-06 22:29:28 757
转载 利用Rational Rose进行C++代码的逆向工程介绍
2004年10月,IBM推出了支持最新的UML2.0的可视化建模工具 Rational Software Architect(见注释①) 和IBM Rational Software Modeler(见注释②)。虽然它们支持在建模功能上有了更好的改进、支持了更新的标准,但是R
2011-09-01 11:04:28 1480
cargo之书
2020-03-11
c++参数解析类
2014-02-19
c++线程池+任务池
2014-01-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人