文件系统
文章平均质量分 75
ensong_xu
从事HPC&大数据平台运维及优化工作
展开
-
hadoop_on_glusterfs
Hadoop On GlusterFSAuthor By esxu2015.07.09概述GlusterFS为Apache Hadoop提供了兼容性,它使用Hadoop中的标准文件系统API为Hadoop的部署提供新的存储选项。现有的基于MapReduce的应用程序可以使用GlusterFS无缝连接。提供Hadoop的范围内同时基于文件和基于对象的访问消除了集中的元数据节点兼容原有MapRed原创 2015-07-10 15:18:46 · 1992 阅读 · 2 评论 -
ceph rgw 部署记录
1、创建key,部署完ceph后,创建相关key文件:ceph-authtool --create-keyring /var/lib/ceph/radosgw/ceph-rgw.obj003/keyringceph-authtool -n client.rgw.obj003 --gen-key /var/lib/ceph/radosgw/ceph-rgw.obj003/keyringceph原创 2017-12-28 20:57:46 · 1353 阅读 · 0 评论 -
Cinder Multiple-backends
Cinder Multiple-backends2017/11/15在我们的实际生产环境中,openstack后端存储需要与多种类型的存储对接,如商业的SAN存储和分布式ceph存储。即使是同种类型的存储,也可以做性能区分,分为冷盘和热盘,存储不同类型的数据。本文主要介绍如何实现在ceph存储根据不同磁盘介质类型创建不同的卷类型,并与openstack进行对接。为用户提供不同级别的存储性能服务。效果原创 2017-11-15 13:58:51 · 2142 阅读 · 0 评论 -
Ceph基于不同性能磁盘创建Pool
Ceph基于不同性能磁盘创建Pool2017//11//10 徐恩松本文介绍在使用ceph时,如何配置实现创建不同性能的pool,以用于不同的场景。环境介绍(ceph-mon)[root@node01 /]# ceph osd treeID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -6 6.0原创 2017-11-14 19:02:03 · 2180 阅读 · 0 评论 -
CEPH集群MON全部挂掉后恢复方法
CEPH集群MON全部挂掉后恢复方法2017/11/14 恩松本文介绍ceph集群中所有mon服务均无法启动或者说mon节点所在服务器os全部无法启动情况下的恢复方法,当然,这种极端情况出现的概率非常低,这里前提是要做好mon节点的配置文件和元数据备份,不然就没办法恢复了。我的环境是使用kolla部署的,恢复方法也都是基于kolla工具下才有效,如果采用物理机部署,具体操作上会有所区别,但大致的思原创 2017-11-14 18:40:12 · 7890 阅读 · 0 评论 -
基于 iwarp下的lustre性能测试
近期在做集群网络的升级方案,涉及到网络设备有交换机、线缆、网卡。过程中测试了不少网络厂商的设备,这里主要记录下在测试Chelsio网卡时的一些问题。测试内容:网卡带宽网卡延迟(TCP/iwarp)lustre on iwarp网卡带宽和延迟这里不做过多介绍,这个测试起来比较简单,直接跑下iperf和ib_write测试工具即可;这里主要记录下如何在lustre上启用iwarp。测试环境直接上图原创 2016-04-12 11:43:42 · 5880 阅读 · 0 评论 -
Glusterfs由RDMA切换到TCP
Glusterfs作为分布式文件系统,具有简单、高效的特性。同时还支持RDMA协议挂载到客户端,大大降低延迟。但Infiniband网络使用成本毕竟高,所以当集群规模大了之后,可能就会考虑到进行网络转型,考虑使用传统的TCP 25Gb或40Gb来取代。由于Glusterfs不能做到像Lustre那样同时支持两套网络,所以当网络调整时需要我们手动去修改glusterfs的网络配置。目前经过验证的可靠方原创 2016-01-23 17:13:52 · 4357 阅读 · 1 评论 -
Lustre文件锁问题
问题现象:进程读取文件Hang,单进程读取正常,多个进程同时读取出现Hang,多个进程若在同一台服务器上提交,也可正常运行。问题分析:从现象来看,分析可能产生的原因。1、linux下同时打开文件数达到最大值?2、mount挂载时缺少相关参数导致?第一个问题比较好排查,ulimit -a即可查看当前配置的open files大小,再通过lsof / |原创 2015-12-17 14:23:17 · 2304 阅读 · 1 评论 -
内存碎片是否拖慢了你的程序?
现象描述:近日,公司HPC平台用户频繁反应任务无法正常运行或运行一般会停止无输出,或读取或写入数据时某些数据块耗时比正常速度高几百甚至上千倍。 针对此现象,对集群反复排查了多次,未发现任何异常,日志中也无明显报错信息,从监控系统中观察出现问题节点的CPU、内存、网络、存储等相关资源使用情况,均无太高负载,占用率都非常低。所以分析应该不是存储或硬件资源瓶颈导致的。后来将服务器系统重启后再提交任务,发原创 2015-12-16 10:44:09 · 2956 阅读 · 0 评论 -
实现NFS HA共享目录
构建高可用共享存储需求描述有需求,才会有新产物。对于做平台,关键就是如何提高稳定、安全、高效的集群供用户使用。本次调整,实现了平台的软件安装路径和用户家目录统一管理,保障用户7*24小时用户登录平台。 平台使用Openldap进行用户统一管理,自取代nis使用至今,未出现过中断问题,相对来说还是比较稳定靠谱的。使用openldap统一进行用户管理,就需要平台中所有节点有统一共享的/home目录。原创 2015-11-06 17:44:11 · 3191 阅读 · 0 评论 -
Lustre并行文件系统建设
Lustre并行文件系统建设Author By esxu 2015/08/19项目背景介绍本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用,本次项目建设也是在调研了其他诸多文件系统之后,最终选择Lustre文件系统作为软件部分,由于Lustre文件系统本身无数据安全机制,必须构建于稳定的磁盘阵列之上,通过硬件的稳定性来解决数据的安全性。硬件层原创 2015-09-07 17:51:06 · 10031 阅读 · 3 评论 -
glusterfs分布式文件系统安装调试
Glusterfs分布式文件系统安装调试Edit by esxu 2015.07.08Glusterfs分布式文件系统安装调试概述安装部署yum源配置创建并挂载本地磁盘执行安装添加存储节点卷管理客户端配置挂载方式概述GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数原创 2015-07-10 15:15:07 · 1232 阅读 · 0 评论 -
Ceph+RGW高可用部署方案
基础环境准备配置主机名集群中节点采用统一命名规则即可配置hosts文件解析配置主机名与IP地址解析关系,每个配置完成后将文件拷贝到其他节点,每个节点都需要配置免秘钥登录配置ansible工具执行节点与其他节点的免秘钥登录,如果ansible执行节点也是ceph集群中的节点,也需要配置自身的免秘钥登录,配置方法不多说。Yum源配置目前使用的是阿里的源,使用起来还比较稳定,速度也还好,后期考虑把阿里源同原创 2017-12-18 01:38:25 · 6402 阅读 · 0 评论