ceph-分布式存储
文章平均质量分 74
Pallas_Cat
这个作者很懒,什么都没留下…
展开
-
解决重装系统后有磁盘被ceph占用问题
一、问题说明有一个集群原理装过ceph,后来应为系统崩溃,重装了系统,所以ceph已经不存在了。我查看了/var/lib目录,/etc目录,确实没用ceph的文件(重装了当然没有)。现在的问题是查看块设备 lsblk 发现有磁盘被占用,和正常装ceph时候一样,要重新使用这块硬盘需解决此问题。lsblk -f命令可以查看块设备的文件系统,如图,被占用的sdb没用文件系统。lsblk -l可以查看块设备的类型。NAME:块设备名MAJ:MIN:本栏显示主要和次要设备号RM:显示可移动设备。0表原创 2021-06-10 17:02:41 · 1620 阅读 · 0 评论 -
解决ceph 100.000% pgs not active
这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器虚拟机单节点安装完ceph后,只创建了两个OSD,导致状态是100.000% pgs not active,用python rados往pool存数据一直卡着,存不了。root@controller ceph-test]# ceph -s cluster: id: c5544727-e047-47e3-85fc-6cc5dab8b314 health: HEALTH_WARN原创 2021-06-10 16:49:35 · 2530 阅读 · 2 评论 -
S3对象存储上传文件夹
背景:Amazon S3提供了方便易用的对象存储接口,在对象存储中数据是以key-value的形式存放,对象之间默认没什么关联。在实际应用场景中,我们可能需要将一个文件夹上传到S3中,而不是一个一个文件地上传,并且期望保留文件夹里文件的层级关系。本文介绍三种方法,第三种用代码是重点。1.使用S3Browser在S3的客户端S3Browser中,我们发现可以upload floder,我将本地 H:\video\test 文件夹上传,test文件夹里有1.txt,2.txt两个文件和一个名为test2的原创 2020-12-10 16:11:48 · 6314 阅读 · 0 评论 -
ceph使用RBD块设备
创建名为image1 的rbd块设备 查看它的信息映射块设备,失败sudo rbd map data/image1第一个错是权限不够,第二个错rbd: sysfs write failedRBD image feature set mismatch. You can disable features unsupported by the kernel with “rbd feature disable data/image1 object-map fast-diff deep-flatt.原创 2020-11-29 22:02:56 · 542 阅读 · 0 评论 -
S3Browser配置、使用与允许跨域设置
背景:ceph+S3是一套常用的对象存储方式,S3提供的接口比ceph底层的librados用起来更方便,而且支持Windows使用,尤其是S3做了存储服务的客户端S3Browse,可以十分方便的使用和管理你的bucket。1.S3Browser配置下载安装好S3Browser以后,点击左上角account,add或者manage account,在下图页面进行配置,配置对了就能连接上。如果是与ceph对接,那么中间的access_key和secret_key就填你创建radosgw-admin u原创 2020-11-23 17:58:06 · 10163 阅读 · 1 评论 -
客户端通过librados远程连接ceph集群
一、背景介绍ceph集群作为存储服务器,自然需要有客户端连接服务器,把客户端的数据上传到服务器。如果你选择用S3 API进行存储,那么客户端就是S3browser,与服务器连接的配置里,endpoint的格式是host:port,填好access_key和secret_key,下面选SSL,就可以连接服务器了。S3 API是基于HTTP协议的,它的底层是librados,有时我们需要用底层的librados进行开发或者实验,或者需要速度更快地存储,这时就需要librados远程连接ceph集群。二、原创 2020-10-26 21:42:59 · 1247 阅读 · 2 评论 -
rados以及s3api测试和使用ceph
1. 使用Java-rados库往进存数据1.1 准备工作如果使用RGW下层的librados操作ceph,Java代码必须要用到rados.jar这个库,并且要安装jna,sudo yum install jna -y。在Linux里,复制该JAR文件到公共目录 (例如 /usr/share/java) ,设置这两个 JAR 链接 JVM Class path,连接操作如下:#安装rados-java,或者直接把编译好的rados.jar拷贝过来sudo yum install jnagit原创 2020-10-05 20:51:37 · 699 阅读 · 0 评论 -
ceph常用命令行操作
1.s3cmd常用命令#Make buckets3cmd mb s3://BUCKET#Remove buckets3cmd rb s3://BUCKET#List objects or bucketss3cmd ls [s3://BUCKET[/PREFIX]]#List all object in all bucketss3cmd la#Put file into buckets3cmd put FILE [FILE...] s3://BUCKET[/PREFIX]#Ge原创 2020-10-05 20:31:27 · 568 阅读 · 0 评论 -
centos7.8安装ceph-13.2.10-mimic (非常详细)
1.安装文档#创建虚拟机,每台机器3块硬盘#集群规划,写在/etc/hosts文件里192.168.244.101 ceph1 #ceph-deploy,mgr,mon192.168.244.102 ceph2 #mgr,mon192.168.244.103 ceph3 #mgr,mon#换阿里yum和expl源,每台机器执行cd /etc/yum.repos.d#备份之前的配置mv ./CentOS-Base.repo ./CentOS-Base.repo.bak#下载wget -原创 2020-10-05 20:26:50 · 1374 阅读 · 0 评论 -
ceph存储接口-S3API和rados
ceph常用的接口有librados和s3api,s3api与ceph对象网关RGW连接,往ceph集群存储数据,librados是对象网关RGW的下层,运行效率更高,性能更好。1. librados使用librados可以操作ceph集群,它提供了存储,读取,删除,列出所有对象等功能。在存储前,需要连接集群: Rados cluster = new Rados("admin"); File f = new File("/etc/ceph/ceph.conf");原创 2020-10-05 20:14:44 · 2314 阅读 · 0 评论