![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ceph
文章平均质量分 52
人生匆匆
这个作者很懒,什么都没留下…
展开
-
com.amazonaws.SdkClientException: Unable to load AWS credentials from environment variables
正确答案,但是我最终通过将这个属性添加到hive-site.xml中使它工作起来。原创 2024-08-02 16:58:54 · 142 阅读 · 0 评论 -
Docker安装OwnCloud私有云盘对接ceph
启动OwnCloud容器,没有镜像会自动下载。三、owncloud对接ceph对象存储。访问服务器IP,设置admin密码。二、初始化OwnCloud。一、安装OwnCloud。原创 2024-08-01 15:00:11 · 259 阅读 · 0 评论 -
动态修改ceph集群配置
修改集群配置启动 ceph 存储集群时,各守护进程都从同一个配置文件(默认的 ceph.conf )里查找它自己的配置。ceph.conf 中可配置参数很多,有时我们需要根据实际环境对某些参数进行修改。修改的方式分为两种:直接修改 ceph.conf 配置文件中的参数值,修改完后需要重启 Ceph 进程才能生效。或在运行中动态地进行参数调整,无需重启进程。转载 2024-03-08 10:59:49 · 108 阅读 · 0 评论 -
ceph修复pg inconsistent( scrub errors)
集群出现pg状态变为 inconsistent 状态,inconsistent状态是pg通过scrub检测到某个或者某些对象在副本之间出现了不一致。找出异常的 pg,然后到对应的osd所在主机上修复。这里表示是主机intelligence-b-12。2.通过repair修复对应的pg。但是经过观察,并不能解决。4、修复(一般不需要)5、查看ceph的状态。原创 2023-11-13 23:36:36 · 2135 阅读 · 0 评论 -
Ceph rgw 处理上传文件读取不了的问题
一、测试过程1、设置bucket类型为public-read 或者为public-reda-write的存储桶。下面这里建了一个public-read的存储桶,其中ACL:anon: READ 表示该存储桶的访问类型为public-read类型。2、向该存储桶上传文件。并查看对象的权限。3、打开浏览器,打开console,输入以下代码,进行访问测试执行回车,结果如下:4、设置CORS规则5、访问测试看上图还是不能访问,提示accessdenied。转载 2023-06-14 21:41:59 · 263 阅读 · 0 评论 -
CEPH PG incomplete状态修复
某运营商的Kubernetes项目物理机停机维护,重启后Kubernetes部分pod无法挂载PVC,请求超时。该Kubernetes集群的后端存储使用ceph rbd块存储,检查ceph集群状态异常。集群检查提示PG_AVAILABILITY(数据可用性降低),这说明群集无法满足群集中某些数据的潜在读取或写入请求。即有12个PG处于不允许为IO请求提供服务的状态。转载 2023-05-28 20:02:40 · 1253 阅读 · 0 评论 -
Ceph分布式rdb块存储集群部署
一、安装环境node1 10.3.45.112node2 10.3.45.113node3 10.3.45.115硬件配置:1C1G,另外每台机器器最少挂载二块硬盘二、环境准备,每台都得执行(1)关闭防火墙:systemctl stop firewalldsystemctl disable firewalld(2)关闭selinux:sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0(3)关闭NetworkM原创 2022-03-02 15:10:36 · 823 阅读 · 0 评论 -
正确删除mds服务
原始需求是在使用cephfs的时候,部署完mds服务之后,比如部署了3个mds服务,但是由于某种原因不需要3个,或者想更换mds服务所在节点时,就需要用到彻底删除某个节点上的mds服务了。一、下线某个节点上的mds服务1、停止mds服务 systemctl stop ceph-mds@bd-server-5.service2、删除该mds在集群里面的认证信息ceph auth del mds.bd-server-53、禁用该mds服务(如果没有此步骤,下次开机时会自动启动该mds服务)[原创 2022-03-01 15:20:34 · 969 阅读 · 0 评论 -
Ceph分布式cephfs文件系统存储集群部署
一、安装环境node1 10.3.45.112node2 10.3.45.113node3 10.3.45.115硬件配置:1C1G,另外每台机器器最少挂载二块硬盘二、环境准备,每台都得执行(1)关闭防火墙:systemctl stop firewalldsystemctl disable firewalld(2)关闭selinux:sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0(3)关闭NetworkM原创 2022-03-01 11:18:37 · 1276 阅读 · 3 评论 -
Ceph存储池full等处理方式
1.查看当前集群full以及nearfull的设置值,在Mon节点查询Mon配置ceph --admin-daemon /run/ceph/ceph-mon.IP.asok config show | grep full_ratio2.查看当前集群full以及nearfull的设置值,在其他节点查询osd配置ceph --admin-daemon /run/ceph/ceph-osd.0.asok config show | grep full3.遇到集群full的告警,并且存储不能写入数据转载 2021-12-14 11:45:08 · 996 阅读 · 0 评论 -
Possible data damage:1 pg inconsistent
问题ceph health detail1.修复pgceph pg repair 6.e12.修复pg设置的两块osdceph osd repair 19ceph osd repair 73.查询pg使用的主机osdceph pg 6.e1 query|grep primary4.systemctl stop ceph-osd@19.servicesystemctl start ceph-osd@19.service...原创 2021-10-15 14:22:47 · 1934 阅读 · 0 评论 -
查看ceph的osd中pg分布
ceph pg ls-by-osd osd.0 |awk '{printf"%s\t%s\n",$1,$15}'1.3 [0,1]1.b [0,1]1.c [0,1]1.60 [0,1]1.63 [0,1]1.65 [0,1]1.6b [0,1]1.70 [0,1]1.73 [0,1]1.79 [0,1]2.1 [0,1]2.6 [0,1]意思是查看osd.0上的pg分布,可以看到pg主要分布在0,1上单个pg迁移ceph osd pg-upmap-items 1.原创 2021-09-13 12:33:05 · 2123 阅读 · 1 评论 -
Ceph中查找BUCKET INDEX所在位置的方法
##1.引言 本文说明了如何查看每个BUCKET对应的索引信息,以及所在的OSD位置,为以后运维做参考。##2.实验过程###2.1 罗列出当前系统下所有的bucket信息[root@node1 ~]# radosgw-admin bucket list[ "ntc-oss-large-file-bda", "ntc-oss-large-file-html", "ntc-oss-large-file", "ntc-oss-large-file-eml"]上述命令原创 2021-08-11 11:39:45 · 1191 阅读 · 0 评论 -
使用ceph-deploy卸载ceph集群
提示:每台ceph节点都要执行yum -y install ceph-deployhostname=`hostname`ceph-deploy purge $hostnameceph-deploy purgedata $hostnameceph-deploy forgetkeys# osd 卸载命令 dmsetup status #查询所有ceph osd 或者vgscan + vgremove 加查询出来的iddmsetup remove_all #删除所有查询的内容...原创 2021-08-06 17:23:45 · 2019 阅读 · 0 评论 -
重启osd服务失败:Start request repeated too quickly
背景 OS:Ubuntu 16.04 修改了osd的一些配置,修改后,需要重启osd服务才能生效。第一次重启后,配置立刻生效。再改了一些配置,重启osd服务后,配置却不再生效了。ps命令查看进程,发现osd进程都没有启动。分析 osd进程未启动,第一直觉就是配置出错,osd进程启动后又挂掉。于是,进入/var/log/ceph目录,查看ceph-osd.0.log,发现日志末尾只有关闭进程的相关日志,并没有osd启动的信息。再查看该日志的时间,时间就是关闭服务时的时间。换句话说,第二次重启服务转载 2021-07-27 12:33:32 · 1893 阅读 · 0 评论 -
ceph分布式集群节点下线
环境node110.0.40.133master节点 && ceph节点node210.0.40.134ceph节点node310.0.40.135ceph节点node410.0.40.136下线增节点在这里插入图片描述一、在master节点停止node4进程,并卸载node4的ceph[root@node1 ceph]# ceph-deploy purge node4[root@node1 ceph]# ceph-deploy原创 2021-07-21 19:27:45 · 1020 阅读 · 0 评论 -
Ceph添加监视器Monitor失败
#1.添加Mon 当前ceph的状态 # ceph -s cluster f4833745-d220-407b-82ea-72eb6297d435 health HEALTH_OK monmap e3: 3 mons at {dlw1=172.16.40.11:6789/0,dlw2=172.16.40.12:6789/0,dlw3=172.16.40.13:6789/0} election epoch 14, quorum 0,1,2 dlw1,dlw2,dlw3 osdmap e26: 3 osds:转载 2021-07-21 18:25:29 · 1984 阅读 · 0 评论 -
使用ceph命令提示handle_connect_reply connect got BADAUTHORIZER
[root@node1 ~]# rados -p testpool ls2017-10-21 06:13:25.743045 7f8f89b6d700 0 -- 192.168.197.154:0/2548055958 >> 192.168.197.157:6800/16701 conn(0x7f8f7c0062d0 :-1 s=STATE_CONNECTING_WAIT_CONNECT_REPLY_AUTH pgs=0 cs=0 l=1).handle_connect_reply conn转载 2021-07-21 16:15:29 · 535 阅读 · 0 评论 -
ceph 删除和添加osd
1、删除osd查看osdceph osd tree2、停止此osd进程,执行,我的因为坏盘原因已经停止systemctl stop ceph-osd@03、删除上面创建的osd。,数据和日志在同一个磁盘上的osd ,将osd.0踢出集群,执行ceph osd out 04、然后执行:ceph osd crush remove osd.0,此时osd.10已经不再osd tree中了ceph osd crush remove osd.05、执行ceph auth del osd原创 2021-07-19 21:34:23 · 8563 阅读 · 2 评论 -
HEALTH_WARN too few PGs per OSD (16 < min 30)
执行ceph –s 发现集群状态并非ok,具体信息如下:$ sudo ceph -s cluster 257faba1-f259-4164-a0f9-1726bd70b05a health HEALTH_WARN too few PGs per OSD (16 < min 30) monmap e1: 1 mons at {bdc217=192.168.13.217:6789/0} election epoch 2, quo转载 2021-07-19 19:00:20 · 277 阅读 · 0 评论 -
yum安装ceph报错
yum install ceph ceph-radosgw -y 报错如下–> 解决依赖关系完成错误:软件包:1:ceph-radosgw-10.2.2-0.el7.x86_64 (ceph_local)需要:libfcgi.so.0()(64bit)错误:软件包:1:ceph-common-10.2.2-0.el7.x86_64 (ceph_local)需要:libbabeltrace-ctf.so.1()(64bit)错误:软件包:1:librgw2-10.2.2-0.el7.x86转载 2021-07-15 20:53:20 · 1995 阅读 · 0 评论 -
Ceph分布式对象存储集群部署
1、安装环境三台Centos7虚拟机node1 10.0.40.133node2 10.0.40.134node3 10.0.40.135硬件配置:1C1G,另外每台机器器最少挂载二块硬盘2、环境准备(1)关闭防火墙:systemctl stop firewalldsystemctl disable firewalld(2)关闭selinux:sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0(3)关闭Ne原创 2021-07-15 18:16:13 · 879 阅读 · 0 评论 -
ceph-osd reweight权重更改
需要注意的是,这个参数不会持久化, 当该osd out 时,reweight的值为0 ,当该osd重新up时,该值会恢复到1,而不会保持之前修改过的值。osd提示即将爆满更改权重解决ceph osd reweight osd.70 0.7原创 2021-07-12 17:33:43 · 1504 阅读 · 0 评论 -
s3cmd put 时提示 ERROR: S3 error: 403 (QuotaExceeded)
配置里的rgw配额是10000000写满:s3cmd put 时提示 ERROR: S3 error: 403 (QuotaExceeded)rgw_bucket_default_quota_max_objects 值为 -1查看配额信息radosgw-admin user info --uid=admin"bucket_quota": { "enabled": true, "check_on_raw": false, "max_size": -1, "max_siz原创 2021-07-12 16:53:41 · 2150 阅读 · 0 评论 -
ceph systemctl 管理
1、简介1.1 介绍作为 集群 管理 人员,可以 通过 很多种 方式 操纵 集群;可以 根据 实际 需要 开启、关闭 和 重启 ceph 进程 服务;本文 简单 描述 了 关于 systemctl 服务 管理 ceph 存储 集群(关于 systemctl 原理 后期 有机会 再 详细描述)1.2 操作系统本文操作系统 Ubuntu 16.04 amd64发行版本号 xeniallsb_release -a2、开启、关闭 和 重启 所有 ceph 服务systemctl { start |原创 2021-06-18 18:48:09 · 555 阅读 · 0 评论 -
ceph分布式存储-全局Ceph节点宕机处理
全局Ceph节点宕机处理在极端情况下,如数据中心断电,造成 Ceph 存储集群全局宕机,可以按照本节所示流程进行 Ceph 集群上电恢复操作。1、手动上电执行步骤如为 Ceph 集群上电,monitor server 应最先上电;集群上电前确认使用 Ceph 之前端作业服务已停止。使用 IPMI 或于设备前手动进行上电。确认 NTP 服务及系统时间已同步,命令如下: ps-ef | grep ntp date ntpq -p登入上电之 ceph server 确认 ceph servic转载 2021-04-26 23:13:07 · 858 阅读 · 0 评论 -
Ceph 用Luminous手动解决pg分布不均衡问题
前言在ceph的实际应用中,我们常常发现存在数据分布不均衡的情况,这个情况在存储池水位达到百分之八十以上后犹为明显。在ceph出现了数据分布不均衡的时候,我们可以选择人工干预,通过调整pg分布来 达到数据(大致)均衡。从Luminous v12.2.z开始,OSDMap中有一个新的pg-upmap异常表,允许集群将特定的PG显式映射到特定的OSD。本文记录一次该方案的实践。实践1.问题描述单机ceph环境,正常存储数据,当数据存储达到86%时,发现集群状态error,告警有1个osd满了。具体的原创 2021-02-11 00:31:52 · 2681 阅读 · 1 评论 -
ceph集群节点扩容osd,rgw,mon,mgr
1、扩容节点主节点操作,新增节点安装cd /etc/cephceph-deploy install --no-adjust-repos node42、主节点操作,在ceph配置文件中添加新增节点rgw 的配置vim ceph.conf[client.rgw.node4]rgw_frontends = "civetweb port=8899 num_threads=5000"3、主节点操作,将配置文件发送到所有节点ceph-deploy --overwrite-conf admin原创 2021-02-03 19:33:33 · 1734 阅读 · 0 评论 -
搭建owncloud对接Ceph对象存储
前提已搭建好ceph集群一、搭建owncloud1.环境准备lamp:(有mysql可以不安 mariadb mariadb-server)yum install httpd mod_ssl php php-gd php-xml php-mysql php-mbstring mariadb mariadb-server2、启动httpd和mysqlsystemctl start mariadbsystemctl start httpd3、配置mariadb数据库[root@ node1原创 2020-06-15 14:34:32 · 1283 阅读 · 0 评论