KFS编译和安装

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/iteye_19479/article/details/81618741

 

最近看了一下 Kosmos File System (KFS), 目前的版是 0.2.1 。现在总结一下。 KFS 是一个克隆 GFS 的文件系统,用 C++ 编写,客户端支持 C++,pyton JAVA 。主要也是用来存储大文件的,其中的 chunk 相当于 Hadoop 中的 block ,每个 chunk 都为 64M.

一、编译

SourceForge 上下载的源代码之后,按照网站上的说明进行编译。编译用到的包包括 Boost,Cmake,log4cpp,gcc,zlib ssl 。这后就可以创建 build ,进行编译了。其中需要注意的是网站所说的 gmake 其实 就是 make 命令(以前不懂 ) ,还会用到 gtar ,其实就是 tar 命令,可以做一个链接 sudo ln -s /bin/tar /bin/gtar

我 们需要用 java 客户端,很简单,只要在 kfs 的目录下执行 ant jar 命令就可了。之后把生成的 jar 包导入到自己的 project 中就可了。同时需要把 kfs/build/lib 添加到系统变量 LD_LIBRARY_PATH 中去 , 当通到 JAVA 客户端访问 KFS 时,会用到这里的链接库。

二、发布 ( 安装 )

KFS 的结构包含一个 Meta-Server( 相当时 Hadoop 中的 NameNode) ,和多个 ChunkServer( 相当于 Hadoop 中的 DataNode)

MetaServer 维护一个全局文件命名空间( global NameSpace) ChunkServer 用来存储实际的数据。

在发布时,先编辑 kfs/scripts 下的 machines.cfg ,这个配置文件用来配置整个 DFS metaserver chunkserver 的属性。对于 MetaServer, 包括:

[metaserver]

node : 用来指定 metaserver 应该运行在哪台机器上

rundir : 指定 metaserver 应该安装在该 node 中的哪个位置。

baseport : 指定 metaserver 所监听的端口

backup_path : 指定用来备份 metaserver checkpoint 的位置,通常与 metaserver 在不同的机器上, kfs 会定期的用 rsync 命令来将 metaserver checkpoint 文件备份到该变量指定的目录。

clusterkey : KFS 运行在集群中时,需要指定这个值,用来确定 metaserver chunkserver 是属于哪一个集群。为了简单,这里可以指定为一个普通的字符串,如 clusterkey:kfs-cluster1


对于 chunkserver

[chunkserver1]

node :

rundir :

baseport :

这三个和 metaserver 的概念是一样的。同时, chunkserver 还有另外的两项

chunkDir : 用来指定 kfs chunk 存放的目录,即数据文件的存储目前。可以指定多个,以空格分开。

space : 指定该 chunkserver 所提供的存储容量。

我的用测试的配置如下:

[metaserver]

node: 192.168.1.200

rundir: /home/kfs/meta

baseport: 20000

backup_path: 192.168.1.201:/home/kfs/meta_back

clusterkey: kfs-cluster1

[chunkserver1]

node: 192.168.1.202

rundir: /home/kfs/chunk

baseport: 30000

chunkDir: /home/kfs/chunk/bin/kfschunk1 /home/kfs/chunk/bin/kfschunk2

space: 20 G

[chunkserver2]

node: 192.168.1.203

rundir: /home/kfs/chunk

baseport: 30000

chunkDir: /home/kfs/chunk/bin/kfschunk1 /home/kfs/chunk/bin/kfschunk2

space: 20 G

KFS 是通过 ssh scp 来将 metaserver chunkserver 所需要的文件拷贝过去的,所以用于发布的机器,要能不需要输入密码就可以通过 ssh 连接到 metaserver chunkserver 中去。

进入 fks/scripts 目录 ,通过

python kfssetup.py -f machines.cfg -b ../build

就可以安装 metaserver chunkserver 了。 -f 用于指定配置文件 , -b 用于指定 build 目录。

要想御载 kfs, 则执行

python kfssetup.py -f machines.cfg -b ../build/bin -U

之后通过

python kfslaunch.py -f machines.cfg -s

就可以启动所有的 metaserver chunkserver 了。

python kfslaunch.py -f machines.cfg -S

用于关闭所有的 server.

在启动后,如想查看是滞启动成功,可用 kfs/build/bin/tools 下的 fksping 这个命令。

如要检查 metaserver 是否启动成功,则

kfsping -m -s 192.168.1.200 -p 20000

其中的 -m 指定要 ping 的是 metaserver -s 指定 server IP -p 指定 server 的监听端口。
要检查 chunkserver1 是否启动成功,则:
kfsping -c -s 192.168.1.201 -p 30000
如果想单独关闭某个 chunkserver ,则可以在 chunkserver 中执行以下命令:
sudo scripts/kfsrun.sh -S -c -f bin/ChunkServer.prp
这样只会关闭这个 chunkserver ,而不影响其他 server.

关闭后重新启动: scripts/kfsrun.sh -s -c -f bin/ChunkServer.prp

三、通过 JAVA 访问 KFS

下载的包中, examples 目录下有一个通 JAVA 使用的例子。


所有的对文件的操作都是通过KfsAccess这个类来完成的。最简单的创建 一个文件,并向其中写文件:

KfsAccess kfsAccess = new KfsAccess("192.168.1.200",20000);
KfsOutputChannel outputChannel = kfsAccess.kfs_create("testfile");;
int length = outputChannel.write(ByteBuffer.wrap("testdata".getBytes()));
outputChannel.sync();
outputChannel.close();

 更多的API可参考examples下面的示例。有一点注意,各个metaserver、client都要有相互的DNS解析。





展开阅读全文

kfs源码 编译和配置

09-03

前些天在Sourceforge下载了KFS的C++源码包,想测试下其性能.我先根据源码包中的文档编译kfs,除了JAVA部分没有编译(因为我并不需要与Hadoop进行交互,)其它都通过了;但是在进行配置的时候,在终端执行如下语句: python kfs_setup.py ~/code/kfs/build/bin 后,提示我要输入root@localhost 的password,但是无论怎么输入都不能通过该部分,我想原因可能是出在kfs_setup.py 这个脚本的配置上,但是我对这方面的知识实在是匮乏,希望大家帮助. 我把自己的脚本和错误信息贴出来,大家帮忙分析分析.rnrnrn脚本kfs_setup.py的内容:rn# KFS Machine configuration filern[metaserver]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/metarnbaseport: 20000rnclusterkey: test-clusterrn[chunkserver1]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/chunk1rnchunkDir: /home/gxl/Users/kosmix/kfsRun/chunk1/bin/kfschunk1 /home/gxl/Users/kosmix/kfsRun/chunk1/bin/kfschunk2rnbaseport: 30000rnspace: 5Grn[chunkserver1]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/chunk2rnchunkDir: /home/gxl/Users/kosmix/kfsRun/chunk2/bin/kfschunk1 /home/gxl/Users/kosmix/kfsRun/chunk2/bin/kfschunk2rnbaseport: 40000rnspace: 5000 Mrnrn终端下的错误信息:rncp: 略过目录 “./scripts”rnsh: gtar: not foundrnsh: gtar: not foundrnroot@localhost's password: root@localhost's password:rn/tmp/kfspkg.0.tgz: No such file or directoryrnroot@localhost's password:rnroot@localhost's password:rnPermission denied, please try again.rnrn日志中的相关记录:rnSep 2 15:27:48 gxl sshd[7745]: Failed password for root from 127.0.0.1 port 35562 ssh2 论坛

关于kfs 编译和配置

09-02

前些天在Sourceforge下载了KFS的C++源码包,想测试下其性能.我先根据源码包中的文档编译kfs,除了JAVA部分没有编译(因为我并不需要与Hadoop进行交互,)其它都通过了;但是在进行配置的时候,在终端执行如下语句: python kfs_setup.py ~/code/kfs/build/bin 后,提示我要输入root@localhost 的password,但是无论怎么输入都不能通过该部分,我想原因可能是出在kfs_setup.py 这个脚本的配置上,但是我对这方面的知识实在是匮乏,希望大家帮助. 我把自己的脚本和错误信息贴出来,大家帮忙分析分析.rnrnrn脚本kfs_setup.py的内容:rn# KFS Machine configuration filern[metaserver]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/metarnbaseport: 20000rnclusterkey: test-clusterrn[chunkserver1]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/chunk1rnchunkDir: /home/gxl/Users/kosmix/kfsRun/chunk1/bin/kfschunk1 /home/gxl/Users/kosmix/kfsRun/chunk1/bin/kfschunk2rnbaseport: 30000 rnspace: 5Grn[chunkserver1]rnnode:localhostrnrundir: /home/gxl/Users/kosmix/kfsRun/chunk2rnchunkDir: /home/gxl/Users/kosmix/kfsRun/chunk2/bin/kfschunk1 /home/gxl/Users/kosmix/kfsRun/chunk2/bin/kfschunk2rnbaseport: 40000 rnspace: 5000 Mrnrn终端下的错误信息:rncp: 略过目录 “./scripts”rnsh: gtar: not foundrnsh: gtar: not foundrnroot@localhost's password: root@localhost's password: rn/tmp/kfspkg.0.tgz: No such file or directoryrnroot@localhost's password: rnroot@localhost's password: rnPermission denied, please try again.rnrn日志中的相关记录:rnSep 2 15:27:48 gxl sshd[7745]: Failed password for root from 127.0.0.1 port 35562 ssh2rn 论坛

没有更多推荐了,返回首页