Ceph基于不同性能磁盘创建Pool

最新推荐文章于 2024-07-10 22:15:20 发布
最新推荐文章于 2024-07-10 22:15:20 发布
阅读量2.1k 收藏 2
点赞数 1
分类专栏： 文件系统 openstack
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuensong520/article/details/78533838
版权
本文详细介绍了如何在Ceph环境中，根据SSD和SATA磁盘的不同性能，创建并配置存储池（Pool）。通过获取并修改crush map，创建ssd_pool和stat_pool，并设置存储规则，确保数据在SSD和SATA磁盘间合理分布。最后，验证了对象在各个资源池的分布情况。
摘要由CSDN通过智能技术生成

Ceph基于不同性能磁盘创建Pool

2017//11//10 恩松

本文介绍在使用ceph时，如何配置实现创建不同性能的pool，以用于不同的场景。

环境介绍

(ceph-mon)[root@node01 /]# ceph osd tree
ID WEIGHT   TYPE NAME              UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-6  6.00000 root stat                                                
 9  1.00000     osd.9                   up  1.00000          1.00000 
10  1.00000     osd.10                  up  1.00000          1.00000 
11  1.00000     osd.11                  up  1.00000          1.00000 
12  1.00000     osd.12                  up  1.00000          1.00000 
13  1.00000     osd.13                  up  1.00000          1.00000 
14  1.00000     osd.14                  up  1.00000          1.00000 
-5  9.00000 root ssd                                                 
 0  1.00000     osd.0                   up  1.00000          1.00000 
 1  1.00000     osd.1                   up  1.00000          1.00000 
 2  1.00000     osd.2                   up  1.00000          1.00000 
 3  1.00000     osd.3                   up  1.00000          1.00000 
 4  1.00000     osd.4                   up  1.00000          1.00000 
 5  1.00000     osd.5                   up  1.00000          1.00000 
 6  1.00000     osd.6                   up  1.00000          1.00000 
 7  1.00000     osd.7                   up  1.00000          1.00000 
 8  1.00000     osd.8                   up  1.00000          1.00000 
-1 15.00000 root default                                             
-2  5.00000     host 172.21.196.11                                   
 0  1.00000         osd.0               up  1.00000          1.00000 
 2  1.00000         osd.2               up  1.00000          1.00000 
 4  1.00000         osd.4               up  1.00000          1.00000 
11  1.00000         osd.11              up  1.00000          1.00000 
13  1.00000         osd.13              up  1.00000          1.00000 
-3  5.00000     host 172.21.196.13                                   
 1  1.00000         osd.1               up  1.00000          1.00000 
 3  1.00000         osd.3               up  1.00000          1.00000 
 5  1.00000         osd.5               up  1.00000          1.00000 
10  1.00000         osd.10              up  1.00000          1.00000 
14  1.00000         osd.14              up  1.00000          1.00000 
-4  5.00000     host 172.21.196.12                                   
 6  1.00000         osd.6               up  1.00000          1.00000 
 7  1.00000         osd.7               up  1.00000          1.00000 
 8  1.00000         osd.8               up  1.00000          1.00000 
 9  1.00000         osd.9               up  1.00000          1.00000 
12  1.00000         osd.12              up  1.00000          1.00000

这里是我已经配置好的osd信息，未配置之前是没有root stat,root ssd这2部分内容的，一共有15个osd，0–8是SSD磁盘，9–14是SATA磁盘。

获取crush map

(ceph-mon)[root@node01 /]# ceph osd getcrushmap -o crushmapgot 
got crush map from osdmap epoch 380

当前目录下会生成一个crushmapgot文件。

反编译crush map

(ceph-mon)[root@node01 /]#  crushtool -d crushmapgot -o decrushmap

当前目录下会生成一个decrushmap文件。

修改crush map


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  ensong_xu
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Ceph入门与精通-Ceph Pools（存储池）

				
			

			

				

					隔壁老瓦的专栏
				

				

					04-19
					
					2124
					
				

			

		

		

			
				
快照：当您使用 ceph osd pool mksnap 创建快照时，您可以有效地拍摄特定池的快照。要将数据组织到池中，您可以列出、创建和删除池。您还可以查看每个池的利用率统计信息。

			
		

	



                

              
                



	

		

			

				
					
Ceph实战（十）：Pool与PG的说明以及Ceph的IO流程

				
			

			

				

					码农飞哥
				

				

					12-27
					
					2855
					
				

			

		

		

			
				
本文首先对存储池(pool)做了一个基本介绍，存储池是Ceph存储数据时的逻辑分区，每个pool内部都包含一定数量的PG，接着对PG（Placement Group）做了一个介绍，PG中文名是归置组的意思，可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射多个OSD上。接着介绍了Ceph的IO流程图。其流程有七步，再介绍了Ceph IO算法流程，其流程主要是三步映射。最后，介绍了Ceph操作Pool的常用命令。

			
		

	



                


  
              

                


	

		

			

				
					
ceph创建pools到指定的OSD上

				
			

			

				

					weillee9000的博客
				

				

					10-31
					
					2655
					
				

			

		

		

			
				
生产环境中有很多场景，是需要在指定的 OSD 设备上创建 Ceph Pool，或者说需要把pool限制在指定的OSD上。因为Ceph集群中允许使用混合类型的磁盘，比如一部分磁盘是SSD，一部分是HDD。如果针对某些业务需要高速磁盘SSD，而某些业务 HDD 就可以满足部署，在创建资源池 Pool 的时候可以指定它创建在某些OSD 设备上。或者为了不影响性能，通常一套ceph集群中需要RBD块存储和...

			
		

	





	

		

			

				
					
Ceph初始安装OSD时使用独立磁盘的问题1

				
			

			

				

					chuan_day的专栏
				

				

					05-02
					
					3477
					
				

			

		

		

			
				
在安装Ceph步骤往下执行时，创建OSD时，我执行的是：

ceph-deploy osd prepare node1:/dev/sdb node2:/dev/sdb node3:/dev/sdb
这是可以执行的，并且是对的，不需要预先格式化，然而在激活时，就不能执行：
ceph-deploy osd activate node1:/dev/sdb node2:/dev/sdb node3

			
		

	



		

			
		



	

		

			

				
					
Ceph资源池pool管理

					
最新发布

				
			

			

				

					qq_54188720的博客
				

				

					07-10
					
					1067
					
				

			

		

		

			
				
OSD总数   小于 5 个，官方推荐 PG数 为 1285 ~ 10 个，官方推荐 PG数 为 51210 ~ 50 个，官方推荐 PG数 为 1024大于 50 个，参考公式 PG数=( Target PGs per OSD ) x ( OSD # ) x ( %Data )  /  ( Size )Target PGs per OSD ：表示每个OSD对应的PG数（如近期不扩容OSD数量可设置为100，如近期要扩容OSD数量可设置为200）OSD # ：表示当前OSD总数。

			
		

	





	

		

			

				
					
ceph pool常用操作

				
			

			

				

					M_265810的博客
				

				

					03-04
					
					2286
					
				

			

		

		

			
				
ceph pool常用操作
查看pool数量
$ sudo ceph osd lspools
0 rbd,1 metadata,2 data,5 rbdpool,6 sysimg,8 company_5_del,10 satapool,11 ssdcache,12 pcie_del,13 satacache,31 opms,32 bs_sata,33 bs_ssd,34 bs_pcie_del,35 tiersata,36 tierssd,37 tieropms,38 sata.rgw.buckets.da

			
		

	





	

		

			

				
					
【Ceph】Ceph常用命令|Ceph配置参数和命令解析|ceph管理

				
			

			

				

					bandaoyu的note
				

				

					08-24
					
					1万+
					
				

			

		

		

			
				
1、查看状态常用命令

ceph -v //查看ceph的版本

ceph -s //查看集群的状态

ceph -w // 查看正在操作的动作、监控集群的实时更改





# 查看已经创建的磁盘

rbd ls -l

# 查看ceph集群

ceph osd tree

# 查看ceph授权信息

ceph auth get client.admin

# 移除monitor节点

ceph-deploy mon destroy lab1

# 详细列出集群每块磁盘的使用情况

ceph osd df

			
		

	





	

		

			

				
					
Linux系统创建存储池,Ceph学习笔记四 块存储之创建pool (1)

				
			

			

				

					weixin_35871890的博客
				

				

					05-14
					
					1763
					
				

			

		

		

			
				
块是一个字节序列(例如，一个 512 字节的数据块)。基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、 CD 、软盘、甚至传统的 磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。 Ceph 块设备利用 RADOS 的多种能力，如快照、复制和一致性。 Ceph...

			
		

	





	

		

			

				
					
ceph_性能调优6_2.pdf

				
			

			

				

					01-25
				

			

		

		

			
				
本文将根据给定文档“ceph_性能调优6_2.pdf”的内容，深入探讨Ceph在不同层面的性能调优方法和技术要点。  #### 硬件选型与配置  - **服务器需求**：  - 每个OSD至少需要1GHz CPU和2GB RAM。  - 监控节点(MON)则需要...

			
		

	





	

		

			

				
					
Ceph 进阶系列（二）：如何让某个 pool 使用特定的 OSD 设备 （1 of 2，手动版，早于 luminous 版本）

				
			

			

				

					li4528503的博客
				

				

					05-21
					
					694
					
				

			

		

		

			
				
从 GitHub 上 Clone Ceph 项目，我是基于 (ceph version 12.2.11 luminous 版本) 的代码来分析的
一、前言：
有很多场景，你需要在指定的 OSD 设备上创建 Ceph Pool。因为 Ceph 集群中允许使用混合类型的磁盘，比如一部分磁盘是 NVME SSD，一部分是 SATA HDD。如果针对某些业务需要高速磁盘 SSD，而某些业务 HDD 就可以满足部署，在创建资源池 Pool 的时候可以指定它创建在某些 OSD 设备上。例如，Ceph 进阶系列（三）：谈

			
		

	





	

		

			

				
					
CEPH 不同类型磁盘 加入不同pool

				
			

			

				

					song7999的专栏
				

				

					05-20
					
					1379
					
				

			

		

		

			
				
版本：(L版之前 需要手动修改CRUSH map)
# ceph --version
ceph version 12.2.5 (cad919881333ac92274171586c827e01f554a70a) luminous (stable)

因是测试环境 只在虚拟机上加了两块磁盘做OSD  将class修改了 一块为hdd  一块为ssd
#ceph osd tree
ID CLASS ...

			
		

	





	

		

			

				
					
Ceph Pool操作总结

				
			

			

				

					mark's technic world
				

				

					05-02
					
					1万+
					
				

			

		

		

			
				
Ceph Pool操作总结一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size（副本数）、Placement Groups、CRUSH Rules、快照、所属者等。打印pool列表ceph osd lspools
创建pool通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：若少于5个OSD， 设...

			
		

	





	

		

			

				
					
ceph基本原理（个人见解）

				
			

			

				

					鸽鸽吃肉肉的博客
				

				

					10-11
					
					1662
					
				

			

		

		

			
				
1、常见的存储设备或者存储系统
·存储介质
·磁盘
·sata
·ssd
·sas
·磁带
·光盘
·软盘
2、存储类型
·块存储
·分区、格式化、挂载
·raw
·对象存储
·本质上是把数据存储在文件系统上的，存文件一定是存在文件系统上的。
·对象存储会将文件的元数据和数据存储在一起，普通的文件存储系统是分开存储的。这就是区别
·数据名称不可修改
·数据也不可修改
·记录数据名称、路径即可
·查询数据的时候，必须要以绝对路径查询数据
·文件系统存储
·格式化：装载文件系统，需要格式化才能使用的（在格式化时

			
		

	





	

		

			

				
					
记一次ceph-osd磁盘写满1 full osd(s)实操

				
			

			

				

					u011012217的博客
				

				

					12-22
					
					2523
					
				

			

		

		

			
				
记一次ceph-osd磁盘写满1 full osd(s)实操

			
		

	





	

		

			

				
					
SAS SATA SSD IDE硬盘介绍区别

					
热门推荐

				
			

			

				

					ysdaniel的专栏
				

				

					12-11
					
					5万+
					
				

			

		

		

			
				
SAS(Serial Attached SCSI)即串行连接SCSI，是新一代的SCSI技术，和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。SAS的接口技术可以向下兼容SATA。具体来说，二

			
		

	





	

		

			

				
					
centos7利用ssd固态盘作为缓存盘提升磁盘IO性能

				
			

			

				

					kevinsingapore的博客
				

				

					11-06
					
					9228
					
				

			

		

		

			
				
参考一：https://www.jianshu.com/p/55ec43b6e76e

-----------------------------------

参考二：https://www.jb51.net/os/other/350875.html

			
		

	





	

		

			

				
					
metadata文件_技术资讯|块存储？文件存储？对象存储？傻傻分不清楚？

				
			

			

				

					weixin_39901332的博客
				

				

					12-14
					
					545
					
				

			

		

		

			
				
好风借力  飞鸟助您  化实为虚  灵动云化前 言日常的IT维护中，磁盘故障是最常见的硬件故障之一。根据vSAN的设计，vSAN在检测到磁盘故障后会自动在其他可用节点上重建数据(具体机制以后再细说)。我曾经遇到过有些用户的磁盘已经坏了几个月却没有发觉出来，因为vSAN已经默默的在后端重建好了数据，而且用户也没有定期检查vSAN健康检查的习惯...但是无论怎样，故障的磁盘总要...

			
		

	





	

		

			

				
					
openstack 后端存储ceph分布式搭建为什么不建议和raid搭配使用？

				
			

			

				

					JackLiu16的博客
				

				

					04-17
					
					5523
					
				

			

		

		

			
				
如题，我在红帽官网文档看到说构建ceph存储集群时，建议说不要与raid混合使用，这是为什么？求解释。https://access.redhat.com/documentation/en/red-hat-ceph-storage/version-1.2.3/red-hat-ceph-storage-123-installation-guide-for-centos-x86-64/#disable_...

			
		

	





	

		

			

				
					
Ceph运维指南：监控与状态检查

				
			

			

				

					
				

			

		

		

			
				
 - Ceph中的数据是分组存储在Pool里的，可以通过`ceph osd pool create`创建新的Pool，`ceph osd pool delete`删除Pool，或者`ceph osd pool set`调整Pool的参数。  5. **管理RBD（RADOS Block Device）**  - RBD是...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值