- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 hadoop HDFS SecondNamenode详解
转载自：http://blog.chinaunix.net/uid-20577907-id-3524135.htmlSecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。真正的了解了SecondNamenode以后，才发现事实并不是这样的。下面这段是Hadoop对SecondNamenod
2014-05-28 14:35:56
2404
原创 Hypetable源码编译和打包
1.源码编译 1.1源码下载首先，创建源码保存目录[jack@localhost ~]$ mkdir -p src获取源码的两种方式1）Hypertable官网(http://www.hypertable.com)下载tar包并解压。cd ~/srctar zxvf/hypertable--src.tar.gz2）从git仓库获取cd ~/srcgit cl
2014-05-27 14:26:18
1090
原创 Hypertable源码解读之数据写入客户端逻辑
数据写入逻辑分为客户端和服务器端，下面jianshu客户端缓存需要写入的cell集合，按其key所属的rangeserver进行区分，即将key落入同一rangeserver的cell分为一组，每组又按照不同的range进行区分。当commit时，隶属不同rangeserver的cell集合将被异步的发送到对应的rangeserver。客户端只有等到所有异步请求的响应之后，才能进行下一轮的写入
2014-05-27 13:48:14
586
原创 Hypertable源码解读之RangeServer启动过程
Main函数中首先创建一个ConnectionManage对象，用于维护与rangeserver通讯的TCP连接。再创建一个默认大小为50的应用程序队列（ApplicationQueue），用于存放针对rangeserver的请求事件。然后连接hyperspace，创建HyperSpace::Session对象。最后用ConnectionManage对象指针、应用程序队列指针和HyperSpace
2014-05-27 13:44:24
781
原创 Hypertable源码解读之Hypertable.RangeServer目录
1.1. Class global维护了rangeserver进程的全局变量.其中有几个队列需要区分:global::maintenance_queue：MaintenanceQueue类指针，表示 rangeserver的后台维护任务队列；global::work_queue：MetaLog::EntityTask类指针数组，表示一组针对rangeserver的metalog ent
2014-05-27 13:42:07
930
原创 Hypertable源码解读之Hypertable.lib目录
1. Class MetaLog:: Entity一个metalog entity能关联到一个应用程序，并能被持久化到metalog中。metalog entity对象能在metalog的读写API中传入和传出。应用程序对象能包含一个继承自该类的成员对象，用于持久化应用程序的专题。应用程序对象也能直接继承该类，这样应用程序对象就可以直接将自己传入到metalog的API了。2. Cl
2014-05-21 14:45:17
660
原创 Hypertable源码解读之AsyncComm目录
该目录下包含了所有异步通信模块的源文件，该模块是整个Hypertable系统的基础，该模块的整体思路如下：工厂类类ReactorFactory中所有成员变量和函数都为静态成员，其初始化时将构造reactor_count个Reactor对象，并将每个对象委托给ReactorRunner对象托管，然后启动一个线程，线程函数即为ReactorRunner函数对象。Reactor对象构造时将创建一
2014-05-21 14:39:12
729
原创 Hypertable工具之random_write_test、random_read_test、ht_write_test、csvalidate
1. random_write_test命令： random_write_test [options] 该命令用于测试hypertable的写入速度。它将产生随机数据插入到表RandomTest中，插入数据的value总长度为total-bytes。RandomTest表必须提前创建于namespace”/”下，并且只有一个名称为Field的CF。产生的row和value都是随机的AS
2014-05-21 14:23:54
2314
原创 Hypertable工具之serverup
命令：serverup [options] 该命令检测指定的服务器上server-name指定的服务是否启动，启动返回true，否则返回false。server-name可为下列之一：dfsbroker, hyperspace, master, global-master, rangeserver, thriftbroker。其中：master特指检测本机上是否运行master服务；globa
2014-05-21 14:14:57
770
原创 Hypertable工具之csdump
命令：csdump [options] 该命令导出位于DFS中指定名称的CellStore文件的内容。Options: -a [ --all ] Dump everything, including key/value pairs -c [ --compact ] Only prints the cellstore name and a status ('ok' or 'c
2014-05-21 14:12:20
733
原创 Hypertable工具之metalog_dump
命令：metalog_dump [options] 该命令可以导出指定的MetaLog文件的内容，也可以导出指定目录下所有MetaLog文件的内容。该命令只能操作MetaLog，不能操作Commit Log，即只能操作mml（适用于master）和rsml（适用于RangeServer）目录或其中的文件。MML（Master的MetaLog）记录了Master维护META数据的过程，例如：
2014-05-21 14:09:57
766
原创 Hypertable工具之dumplog
命令：dumplog [options] 该命令导出指定目录下所有Commit Log文件的元数据（This program dumps the given log's metadata.）。它只能操作Commit Log，而不能操作MetaLog，即只能操作log目录下的root、metadata、system和user子目录。该命令只能对一个Commit Log目录进行操作，不能对单个Co
2014-05-21 14:07:02
897
原创 Hypertable工具之Hyperspace
命令：hyperspace [hyperspace_ip:port]。hyperspace命令可连接至hyperspace，并执行下列命令：mkdir ............. Creates a directory in Hyperspacemkdirs ............ Creates all paths leading upto and includingdirec
2014-05-21 14:04:00
819
原创 Hypertable工具之ht_rsclient
1. ht_rsclient命令：ht_rsclient [rangeserver_ip:port]。Ht_rsclient命令可连接至任意一台RangeServer，并在该台RangeServer上执行下列命令：COMPACT ............... Schedules range compactionsCREATE SCANNER ........ Creates a
2014-05-21 13:59:29
777
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人