- 博客(17)
- 收藏
- 关注
RSS订阅原创 javascript之闭包
闭包：函数可以在执行的时候访问它被创建时候所处的上下文环境一个最常见的闭包的例子[code="js"] var lis = document.getElementsByTagName("li"); //wrong example 绑定的是变量i，而不是函数在构造时候的变量i的值 var addHandler = function(nodes) { va...
2011-10-08 16:22:52
109
原创 pdsh
最近在搞一些集群的配置管理，使用了pdsh，还是比较好使，首先要通过ssh打通集群中所有主机。 pdsh的 使用方法是: pdsh -w ssh:user@node[1-n] command...
2011-09-30 11:12:57
140
原创 VirtualBox设置共享文件夹失败的解决方法
virtualBox安装完成后，需要虚拟机与主机进行通信，有两种方式可以进行传输。第一种方法是主机使用secureCRT直接从虚拟机传输或获取文件，类似于两台主机之间的通信，他需要虚拟机的网络设置为桥接模式，并且虚拟机安装了ssh server。第二种方式就是采用共享文件夹的方式进行通信。首先要安装增前功能，同时在virtualBox中分配数据空间，重启后lsmod | grep v...
2011-09-27 13:26:59
1294
原创 hadoop corrupt处理流程
Datanode blockcorrupt流程说明1、 Datanode上有一个线程DataBlockScanner对Datanode上面的block进行数据校验，其中该类中最重要的方法是verifyBlock(Block block)，在verifyBlock(Blockblock)方法中利用了BlockSender，其方法是将block读入到一个空设备(IOUtils...
2011-07-27 15:32:00
336
原创 Namenode内部数据结构整理
由于要改进NameNode结构，需要对NameNode内部数据结构进行整理，方便下一步的工作。 NameNode接收Client、DataNode、SecondNameNode的RPC通信后，解析出需要执行的函数，大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构，总结起来有如下一些：1. Block...
2011-04-14 10:47:00
291
原创 DatanodeDescripto详解
DatanodeDescriptor内部结构说明说明 DatanodeDescriptor保存了特定Datanode上面的一些统计信息，如硬盘容量、使用量，最后更新时间等，DatanodeDescriptor结构属于Namenode的内部结构，并不通过网络向Datanode和Client传输。内部重要数据结构 DatanodeDescriptor还保存了一个...
2011-04-14 09:36:29
133
原创 Hdfs LeaseManager
了解LeaseManager类必须了解Lease结构：Lease的基本结构变量有：1. private final String holder; 持有lease的client name2. private long lastUpdate; 用于检查租约是否过期3. private final Collection paths = ne...
2011-04-06 14:40:05
142
原创 ThreadLocal学习笔记
1. 什么是ThreadLocalThreadLocal变量的作用是生成一个线程局部变量，即每个线程独有的变量，其它线程访问不到。2. ThreadLocal使用由于Java对ThreadLocal的定义是以类的形式，而不是以原型变量，所以使用ThreadLocal比C++中的线程局部变量要麻烦。public class ThreadLocal { public O...
2011-03-24 15:45:20
73
原创 Hdfs INode结构说明
INode类在Namenode中代表了一个树状结构即Namespace,表示的是目录和文件的抽象，INode类是一个抽象类，INodeFile和INodeDirectory是具体实现。1. INode的变量有protected byte[] name;protected INodeDirectory parent;protected long modificationTime;...
2011-03-16 10:31:18
802
原创 DatanodeDescriptor说明
DatanodeDescriptor类记录了Datanode的使用情况，如capacity，used等统计信息，DatanodeDescriptor是Namenode内部的数据结构，并不是通过RPC通信从Datanode向Namenode通信时候使用。Namenode从DatanodeDescriptor中读取Datanode统计信息，并显示在jsp页面上，这就是在网页上面显示的统计信息的来源。...
2011-03-15 11:29:46
150
原创 BlocksMap结构
之前看了HDFS代码，做了一些整理，陆续贴上来，Namenode中最重要的结构是Namespace和BlocksMap，先把BlocksMap写一下。BlocksMap里面最重要的一个结构是BlocksInfo，先来看一下BlocksInfo1. Class BlocksInfo extends BlockBlock类有三个变量，分别是long blockId; ...
2011-03-14 12:01:49
480
原创 Namenode 与client通信
在Hadoop中，是通过自己的代码来实现RPC机制的，而不是通过sun的实现。 Namenode中存在与Datanode通信，与client通信，近期整理了一下与Namenode与client通信的一个流程，最主要的是熟悉Namenode类，FSNamespace类，FSDirectory类，以及Namespace树状结构和BlocksMap结构。以下一一说明。 以下是基于C...
2011-03-14 10:01:59
339
原创 Yourkit Java Profiler 使用说明
为了调试远程机器的内存及线程等情况，需要进行远程连接调试，按照如下方法进行：1. 下载YourKit Java Profiler 首先在server上进行安装，即本机。下载Linux版本的YourKit Java Profiler 在client端进行安装，即远程主机，由于我们使用的是远程主机操作系统为linux，所以以此为准。2. 本机安装后，需要有key，可以发送邮件获得15天免费...
2011-01-20 16:52:25
872
Hdfs NameNode启动优化
对于生产集群，含有上千万文件，每次启动时间将会长达几十分钟，缩小启动时间将大大提高生产力。所以对启动时的各个环节进行分析并提出相应的解决方案用于减少启动时间。1. NameNode启动中对fsimage加载过程解析Hadoop在对NameNode进行启动时，首先会从映像文件(fsimage)中读取HDFS的状态，即系统目录树，同时将日志文件(edits)与fsimage进行合并，这...
2011-01-13 11:43:41
213
原创 java编写视频监控程序
最近做完了联通的项目，视频监控，通过IPV6网络，使用java编写视频监控程序，代码量（算上UI）8000行。 基本思路是，使用的是IP摄像机，通过IP摄像机的二次开发（放心每个都有，上网找说明书，用的是CGI指令），比如我们使用的是Panasonic的IP摄像机,其单帧图像是http://yourIPAddress/SnapshotJPEG?Resolution=320...
2010-11-03 22:07:47
2093
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人