![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
qfs
文章平均质量分 87
炼气散人
等儿子高考后,或许会回来
展开
-
qfs集群安装之一 meta server安装
下载程序下载centos 6的版本:https://s3.amazonaws.com/quantcast-qfs/qfs-centos-6.7-master-x86_64.tgz然后解压Meta Server负责保存所有chunk的位置,协调chunk的复制和恢复。配置文件需要创建一个配置文件,文件名为meta_server.prp# port used by clients to connect原创 2016-10-13 02:23:35 · 1393 阅读 · 1 评论 -
qfs集群安装之二 chunk server安装
1 chunk server主要功能一个文件分成若干个chunk, 每个chunk最大64MBchunk server根据meta server的指令对chunk进行复制或者恢复监控文件系统的健康情况,并汇报状态给meta server.推荐使用XFS文件系统,可以绕过OS的缓存以提高性能,还可以利用XFS的空间回收机制减少碎片。2 高容错的最小架构采用Reed-Solomon架构,而不是Repl原创 2016-10-14 02:36:33 · 1890 阅读 · 0 评论 -
qfs常见维护问题
Table of Contents1. chunk server1.1. chunk server连接meta serever报file system id mismatch2. tools2.1. qfsadmin 怎么用2.1.1. check_leases2.1.2. fsck2.2. qfsstat 怎么用2.2.1. 连接meta server2.2.2. 连接chunk server2原创 2016-10-14 12:08:06 · 827 阅读 · 0 评论 -
spark访问qfs
Table of Contents1. 设置java库和c++库的路径2. 用spark-shell读取qfs文件2.1. 简化spark-shell启动2.2. 启动后设置hadoopConfiguration2.3. 读取文件1 设置java库和c++库的路径修改~/.bashrc文件,增加# qfs with spark原创 2016-10-14 23:02:05 · 4458 阅读 · 0 评论 -
ArchLinux(UBuntu)编译qfs
用下面的命令编译$ git clone https://github.com/quantcast/qfs.git$ cd qfs$ make如果出现CMake报错找不到jni,应该是环境变量的问题,参考我的.bashrc,并根据自己的环境做一些修改export JAVA_HOME=/usr/lib/jvm/java-8-openjdkexport JRE_HOME=/usr/lib/jvm/原创 2016-09-29 03:04:23 · 886 阅读 · 0 评论