Ceph入门到精通-CEPH故障以其处理方法

最新推荐文章于 2024-07-09 21:54:52 发布
最新推荐文章于 2024-07-09 21:54:52 发布
阅读量2k 收藏 4
点赞数
分类专栏： Ceph入门到精通 文章标签： ceph 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxb880114/article/details/132852751
版权
本文介绍了CEPH存储系统中常见的故障及其处理方法，包括慢速OSD心跳、操作延迟、PG未及时深扫、MDS缓存过大等问题，深入分析了故障原因并提供了相应的解决步骤，旨在帮助管理员有效维护CEPH集群的健康运行。
摘要由CSDN通过智能技术生成

1. Slow OSD heartbeats

 

    
 
  1. # ceph -s
    2. 
 
  2. health: HEALTH_WARN
    3. 
 
  3.        Slow OSD heartbeats on back (longest 6181.010ms)
    4. 
 
  4.        Slow OSD heartbeats on front (longest 5953.232ms)
    5. 

 

OSDs之间会相互测试（ping）访问速度，若两个OSDs之间的连接延迟高于1s，则表示OSDs之间的延迟太高，不利于CEPH集群的数据存储和访问。两个OSDs之间可以通过内网（存储服务器之间 / back）检测其延迟，也可以通过外网（存储服务器到使用服务器 / front）检测其延迟。若延迟过高，会将相应的OSDs down掉，进而可能导致CEPH数据丢失。
 

一般情况下OSDs之间延迟高的原因是因为网络原因导致的。可能是某台存储服务器重启网络导致，或网线出问题导致。前者的时间会逐渐变小，最后恢复正常，后者则问题一直存在。通过查看详细的OSDs延迟信息查找延迟较高的主机，再进行解决。
 

 

    
 
  1. # ceph health detail
    2. 
 
  2. 
 
  3. [WRN] OSD_SLOW_PING_TIME_BACK: Slow OSD heartbeats on back (longest 11846.602ms)
    4. 


                

        

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  未来AI编程
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
Ceph入门到精通-Ceph版本升级命令

				
			

			

				

					隔壁老瓦的专栏
				

				

					04-20
					
					2321
					
				

			

		

		

			
				
与 互斥，仅接受服务 一次一种类型（例如，不能同时提供 OSD 和 RGW 服务），以及 将仅升级属于这些服务的守护程序。的命令行选项相同的格式。例如，如果指定升级主机上 osd 类型的守护程序 主机 1 设置为 3，cephadm 将升级（最多）3 个 osd 守护进程 主机1.如果指定了将无序升级守护程序的参数，则升级 命令将阻止并注意如果继续，将错过哪些守护程序。如果新版本基于 ，一旦完成升级，用户 必须更新软件包（或 ceph-common 软件包，以防用户 不使用 ） 到与新版本兼容的版本。

			
		

	



                

              
                



	

		

			

				
					
Ceph入门到精通-常见Nginx服务器故障处理

				
			

			

				

					隔壁老瓦的专栏
				

				

					09-26
					
					444
					
				

			

		

		

			
				
要注意的是factcgi_connect/read/send_timeout是对FastCGI生效的，而proxy_connect/read/send_timeout是对proxy_pass生效的。此外要注意的是Nginx的upstream模块中的max_fail和fail_timeout两项。但max_fail如果设置的比较小的话，那么在接下来的fail_timeout时间内，Nginx都会认为上游服务器挂掉了，都会返回502错误。所以Nginx会发现与自己通信的连接断掉了，就会返回给客户端502错误。

			
		

	



                


  
              

                


	

		

			

				
					
【分布式系统】ceph部署（命令+截图巨详细版）

					
最新发布

				
			

			

				

					F12138X的博客
				

				

					07-09
					
					2615
					
				

			

		

		

			
				
每个人都想把手伸向夜空，去捕捉那属于自己的星星，但极少有人能真正地知道自己的星星在哪个位置

			
		

	





	

		

			

				
					
Ceph常见问题处理（octopus 15.2.13）

				
			

			

				

					记强的博客
				

				

					06-13
					
					1661
					
				

			

		

		

			
				
Ceph octopus 15.2.13 常见问题处理

			
		

	



		

			
		



	

		

			

				
					
【ceph相关】ceph常见问题处理

				
			

			

				

					Luxf0的博客
				

				

					06-01
					
					3895
					
				

			

		

		

			
				
本文主要总结ceph使用过程中，常见的问题及处理措施

			
		

	





	

		

			

				
					
Ceph错误汇总

				
			

			

				

					wang11876的博客
				

				

					08-02
					
					2640
					
				

			

		

		

			
				
随着 OSD 数量的增加，正确的 pg_num 取值变得更加重要，因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。报错原因：每个osd最多只支持250个pg，有3个osd，总共有750pg。pool size 设置为3，我们有3个副本，pg_num = (250 * 3 / 14 / 3)*OSD 数量在 10 到 50 个时，可把 pg_num 设置为 4096。*OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512。

			
		

	





	

		

			

				
					
ceph存储 性能测试常见问题

				
			

			

				

					skdkjxy的专栏
				

				

					09-12
					
					2073
					
				

			

		

		

			
				
目录

名词解释

性能测试FAQ

1. 性能测试的基本过程是什么？

2. 如何准备测试环境？

3. 准备环境时，由于条件限制，机器系统硬件环境可能不同，机器硬件的cpu主频，单双核，硬盘转速等对性能测试的影响情况如何，在准备测试中哪些因素可以较少考虑或者忽略？

4. 我们的机器本身会启很多自动服务，其对性能的影响如何？

5. 测试过程中应该收集哪些数据？应该怎么获得？

6. 是否打开...

			
		

	





	

		

			

				
					
遇到的一些CEPH故障处理

				
			

			

				

					涛子GE哥的博客
				

				

					03-15
					
					6117
					
				

			

		

		

			
				
1、CEPH误删除OSD恢复操作

有时在线上环境由于个人原因会有一些误操作，下面这个例子博主的亲身经历



本来是有一块磁盘损坏，需要将其移除集群，做移除操作，结果在删除key的时候，OSD ID错误，将正常的OSDkey删了。

误执行cephauthdelosd.x

这时候不要慌，只是删除了key，osd的文件目录都存在，只需要在对应节点上将key加回去即可，执行：

ceph ...

			
		

	





	

		

			

				
					
 ceph 故障处理记录

				
			

			

				

					weixin_34008933的博客
				

				

					10-09
					
					1255
					
				

			

		

		

			
				
mon故障
mon无法启动
现象描述
因为某些原因，导致ceph-mon无法启动。ceph-mon 无法启动，原因可能是mointor level db 损坏，数据的丢失等。在OS 正常的情况下（osd运行正常），只是ceph-mon 无法启动。这种情况下，剔除节点然后再 加入，会导致数据的2次均衡，如果数据量大，耗时比较久。所以，可以通...

			
		

	





	

		

			

				
					
Ceph入门到精通-ceph边缘集群你听说过嘛？

				
			

			

				

					隔壁老瓦的专栏
				

				

					06-19
					
					69
					
				

			

		

		

			
				
边缘集群是一种经济高效的对象存储配置解决方案。Red Hat 支持以下 Red Hat Ceph Storage 集群的最低配置：具有两个 SSD 副本的三节点集群。具有三个 HDD 副本的四节点群集。具有 EC 池的四节点集群，具有 2+2 配置。对于较小的群集，由于使用量和复原能力的损失，利用率会下降。

			
		

	





	

		

			

				
					
ceph心跳丢失问题分析

				
			

			

				

					06-12
				

			

		

		

			
				
最近测试了ceph集群承载vm上限的实验，以及在极端压力下的表现，发现在极端大压力下，ceph集群出现osd心跳丢失,osd mark成down, pg从而运行在degrade的状态。分析了根本原因，总结成ppt分享。

			
		

	





	

		

			

				
					
Ceph入门到精通-ceph pool 删除导致 misplaced 的原因

				
			

			

				

					隔壁老瓦的专栏
				

				

					09-18
					
					972
					
				

			

		

		

			
				
Ceph中的misplaced对象是指将对象（或对象的副本）存储在错误的位置上，这可能会导致性能下降或数据不一致的问题。配置错误：在删除Ceph池之前，如果配置文件或相关设置没有正确地更新或调整，那么Ceph可能会遇到misplaced对象的问题。删除过程中的操作失误：在删除Ceph池时，操作人员可能会不小心删除了正在使用的池，导致对象被误删除或移动到错误的位置。节点故障或网络问题：如果在删除Ceph池期间，发生了节点故障或网络问题，可能会导致对象被misplaced。

			
		

	





	

		

			

				
					
Ceph入门到精通-ceph故障处理 - osd down处理

				
			

			

				

					隔壁老瓦的专栏
				

				

					04-27
					
					1634
					
				

			

		

		

			
				
来看一下是哪两块登录对应机器确认下是哪块盘2.我们发现盘还在，首先尝试能否重启ceph-osd服务 ，这里已经拉起来了3.如果重启无望或者盘漂移，重新卸载安装3.1 看看日志 是不是有磁盘报错3.2.直接踢掉3.3.重新格式化再添加。

			
		

	





	

		

			

				
					
ceph问题汇总

				
			

			

				

					zorsea的博客
				

				

					12-11
					
					2335
					
				

			

		

		

			
				
一、ERROR: osd init failed: (36) File name too long



出现上述问题的一种原因是：挂在目录的文件系统类型是ext4，解决办法有两种

1）修改/etc/ceph/ceph.conf文件，在文件中添加如下配置

osd max object name len = 256
osd max object namespace len = 64

2）将文件...

			
		

	





	

		

			

				
					
Ceph常规操作及常见问题梳理

				
			

			

				

					weixin_30902675的博客
				

				

					06-08
					
					815
					
				

			

		

		

			
				
Ceph集群管理

每次用命令启动、重启、停止Ceph守护进程（或整个集群）时,必须指定至少一个选项和一个命令,还可能要指定守护进程类型或具体例程。


**命令格式如

{commandline} [options] [commands] [daemons]

常用的commandline为"ceph",对应的options如下表:

对应的commands...

			
		

	





	

		

			

				
					
云原生--ceph故障排错

				
			

			

				

					weixin_58519482的博客
				

				

					07-10
					
					1298
					
				

			

		

		

			
				
【代码】ceph故障解决。

			
		

	





	

		

			

				
					
Ceph PG Peering数据修复

				
			

			

				

					大隐隐于野
				

				

					09-05
					
					743
					
				

			

		

		

			
				
在PG的修复过程中，如果既有需要Recovery过程的OSD，又有需要Backfill过程的OSD，那么处理过程需要先进行Recovery过程的修复，再完成Backfill过程的修复。但是pg->have_unfound()不为0，还有unfound对象（即缺失的对象，目前不知道在哪个OSD上能找到完整的对象），调用函数discover_all_missing()在might_have_unfound队列中的OSD上继续查找该对象，查找的方法就是给相关的OSD发送获取OSD的pg_log的消息。

			
		

	





	

		

			

				
					
ceph 故障解决备忘

				
			

			

				

					Terry Tsang
				

				

					12-22
					
					9945
					
				

			

		

		

			
				
时间问题导致报警解决方法
访问 block 导致报警解决方法
   clock skew detected on mon.hh-yun-ceph-cinder025-128075
   14 requests are blocked > 32 sec

			
		

	





	

		

			

				
					
ceph-mgr ceph-mon ceph-osd ceph-mds ceph-rgw

				
			

			

				

					05-25
				

			

		

		

			
				
这是 Ceph 存储集群中常见的组件：

- ceph-mgr：Ceph 管理进程，负责管理和监控整个 Ceph 集群，并向用户提供 REST API 和 Dashboard 等管理工具。
- ceph-mon：Ceph Monitor 进程，负责监控 Ceph 集群中的 OSD 和 MDS 状态，以及维护集群的状态信息。
- ceph-osd：Ceph Object Storage Daemon，负责存储数据对象并提供读写服务。
- ceph-mds：Ceph Metadata Server，负责存储 Ceph 文件系统的元数据（如文件名、权限等）。
- ceph-rgw：Ceph RADOS Gateway，是一个 RESTful 网关，提供 S3 和 Swift 协议接口，让应用程序能够与 Ceph 存储集群交互。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
未来AI编程

			
共鸣===鼓励 打赏您随意

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值