- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 HDFS中的文件open操作
HDFS的文件open操作，实际上就是执行的是DistributedFileSystem的open(Path,int)函数，其中第一个函数就是文件的路径，第二个函数表示文件流的缓存大小，该函数返回的是DFSDataInputStream流。在这里，我不得不提的一点是，DFSDataInputStream是支持用户随机读的，之所以提及这一点，是因为我要在后面详细地介绍DFSDataInputStre
2011-10-31 21:42:13
3776
原创 HDFS中DistributedFileSystem的创建
说白了，DistributedFileSystem就是HDFS的客户端API，而且严格说起来，DistributedFileSystem算是一种瘦客户端，因为它没有缓存任何关于HDFS中的文件及文件的元数据信息。可能这话我说的有点绝对，但至少在目前的最新版本中确实是这样的，至于会不会在以后的HDFS版本中为客户端加入缓存就不得而知了。反正，Apache Hadoop的官网上并没有任何迹象表明他们将
2011-10-28 19:31:38
9402
2
原创 NameNode的format操作做了什么
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。 我们都知道，NameNode主要被用来管理整个分布式文
2011-10-25 19:28:49
15772
转载 HDFS中namenode部分概述（一）
关于hdfs源码的阅读，我这个小菜鸟觉得有这么两种方式去读，一是抓住它关键的数据结构，知道了他们是干什么用的，剩下的就是一些围着他们转的操作了；二是跟踪执行过程的流程式阅读，以mkdir为例，从client应用发出mkdir请求到传递给namenode，再在datanode上执行，这么一个过程详细地跟踪下来，就理解了一大片。两种路子没有孰优孰劣，配合使用或许更有效。本篇先从数据结构的角度分享一点自
2011-10-25 16:05:59
5452
1
转载 HDFS中的通信协议
通过对org.apache.hadoop.ipc包中，Hadoop实现了基于IPC模型的RPC机制，可以不需要像Java中实现的RMI机制一样，在RPC调用的C/S两端分别创建Stub和Skeleton，而是通过一组协议来进行RPC调用就可以实现通信。这主要是由于Hadoop所采用的序列化机制简化了RPC调用的复杂性。Hadoop定义了自己的通信协议，这些协议都是建立在TCP/IP协议之上的，规范
2011-10-20 20:18:41
8593
原创 HDFS的架构要点
HDFS的架构采用master/slave模式，一个HDFS集群是由一个Namenode和多个Datanode组成。 在HDFS集群中，只有一个Namenode结点。Namenode作为HDFS集群的中心服务器，主要负责： 1、管理HDFS集群中文件系统的名字
2011-10-17 20:29:38
2449
原创 ZooKeeper中的节点故障处理机制(4)
前面分别讨论了ZooKeeper客户端节点、Follower节点在发生故障的情况的，ZooKeeper是如何处理的。最后，我就想讨论一下Leader节点发生故障的情况下，ZooKeeper的处理机制。 1.若Leader节点在第2步之前发生了故障，则Follower
2011-10-12 17:45:34
2330
原创 ZooKeeper中的节点故障处理机制(3)
上一篇主要讨论了ZooKeeper对客户端节点发生故障时的处理情况。本文将主要对ZooKeeper中的Follower节点发生故障时的处理机制进行详细的讨论。我们知道，当某一个Follower或Observer发生故障时，与之直接相连的ZooKeeper客户端就不可能再从Foll
2011-10-12 16:59:32
2578
2
原创 ZooKeeper中的节点故障处理机制(2)
上一篇主要简单的讲述了ZooKeeper是如何处理来自客户端的写请求的。本文主要集中讨论ZooKeeper客户端节点发生故障的处理情况。若ZooKeeper客户端节点发生故障时，他正处于空闲状态，则按照session失效处理。而复杂的情况是ZooKeeper客户端节点发生故障是，
2011-10-12 16:20:16
4407
1
原创 ZooKeeper中的节点故障处理机制(1)
在介绍ZooKeeper处理节点故障的机制之前，我想先给大家讲一讲在一切都正常的情况下，ZooKeeper是如何工作的，也就是ZooKeeper处理客户端请求的流程。当然我只侧重讲解客服端的写请求部分。 过程如下： 在这主要的6步过程中
2011-10-11 20:58:29
3342
原创 JAVA String.format 方法使用介绍
1.对整数进行格式化：%[index$][标识][最小宽度]转换方式 我们可以看到，格式化字符串由4部分组成，其中%[index$]的含义我们上面已经讲过，[最小宽度]的含义也很好理解，就是最终该整数转化的字符串最少包含多少位数字。我们来看看剩下2个部分的含义吧
2011-10-10 20:56:57
713
转载 Java应用程序 身份认证与授权机制(三)
授权概述了解 Java平台如何实现授权的访问控制对于了解我们将在本章中讨论的概念很重要。Java平台使用访问控制环境（access control context）的概念来确定当前执行线程的权限。从概念上讲，可以将它视作与每个执行线程连接的令牌。在 JAAS 之前
2011-10-09 15:32:32
2139
1
转载 Java应用程序 身份认证与授权机制(二)
认证概述本章中，我们将集中讨论 JAAS中的认证元素。我们将从描述简单的登录和认证过程开始，它将为您提供 JAAS认证体系结构的高级别视图。接着，我们将详细讨论体系结构的每一部分。本章结束时，您将有机会仔细地研究两个登录模块的代码。如果您还没有下载本教程的源代码，
2011-10-09 15:31:44
11654
转载 Java应用程序 身份认证与授权机制(一)
认证与授权认证是用户或计算设备用来验证身份的过程。授权是根据请求用户的身份允许访问和操作一段敏感软件的过程。这两个概念密不可分。没有授权，就无需知道用户的身份。没能认证，就不可能区分可信和不可信用户，更不可能安全地授权访问许多系统部分。不一定要标识或认证个别实体；在某些情
2011-10-09 15:30:44
10734
转载 Linux下vsftp配置大全
一、前言Vsftp(Very Secure FTP)是一种在Unix/Linux中非常安全且快速稳定的FTP服务器，目前已经被许多大型站点所采用，如ftp.redhat.com,ftp.kde.org,ftp.gnome.org.等。Vsftpd的实现有三种方式1、匿名用
2011-10-08 15:56:00
894
原创 JavaSE7新特性 异步非阻塞I/O 网络通信 AIO
Asynchronous I/O,异步I/O操作,以Proactor模式为原型设计.在nio中,当有事件发生时,我们会得到通知,然后再去相应的读和写,在aio中,当我们需要的事件完成时才会得到通知,之后可以直接进行业务处理.Server端Java代码
2011-10-08 10:24:42
1906
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人