weixin_42340926的博客

缺页中断处理

windows下安装k8s与对应的CNI

可以利用rgw对ceph中的objectd的metadata进行个性化的筛选与查询创建默认的realmradosgw-admin realm create --rgw-realm=default --defaultrealm的作用：相当于是一块领土。一个realm代表了全局唯一的命名空间，这个命名空间由一个或者多个zonegroup，zonegroup可以包含一个或多个zone，zone包含了桶，桶里包依次存放了对象将默认的zonegroup关联至realmradosgw-admin z

ceph节点迁移前置知识ceph组件mon、mgr、osd、rgw其中非常重要且有数据存储的为mon和osd组件对于mon和osd来说，迁移比较麻烦，但是对于其他组件来说因为是无状态的，因此迁移比较容易mon节点的迁移更换mon ip获取mon map如果集群的ip还没有进行更换，那么可以将ceph mon map打印出来，记得ceph.conf需要修改ceph mon getmap -o monmap monmaptool --print monmap 查看对应的mo

前期准备对接方式有两种方式可以使用k8s对接ceph使用第三方的rbd provisioner，但是由于官方已经不再进行维护因此随着版本越来越高，其对应的rbd provisioner内置的ceph-common版本已经跟不上ceph的版本了，现在其内置的ceph-common版本是m版，如果集群是m版可以考虑使用使用官方的ceph csi，一直在更新，推荐使用，本文使用的就是该种方法ceph-csi版本选择一定要记得k8s的版本与ceph-csi对应！否则会有很多bug现阶段对应ceph

清理osd磁盘osd磁盘未主动卸载就直接删除了ceph，需要手动清理对应的osd磁盘手动进行dd命令清空磁盘并重启dd if=/dev/zero of=/dev/sdb bs=512K count=1reboot

所有ceph的服务开启、关闭等systemctl start ceph.target按照服务分类开启、关闭等systemctl start ceph-mon.targetsystemctl start ceph-mgr.targetsystemctl start ceph.osd.target更加细粒度的服务开启、关闭systemctl start ceph-osd@{osd Id}...

查看ceph 读写i/o最好不要通过iostat查看 因为有可能会将内容写到缓存中，从而无法获得对于的真正读写i/o可以通过ceph dashboard来查看，也可以通过ceph -s来查看动态获取脚本：#!/bin/bashLANG=CPATH=/sbin:/usr/sbin:/bin:/usr/bininterval=1length=86400for i in $(seq 1 $(expr ${length} / ${interval}));dodate=`date`echo -..

加载模块ceph mgr module enable prometheusCeph Luminous 12.2.1的mgr中自带了Prometheus插件，内置了 Prometheus ceph exporter，可以使用Ceph mgr内置的exporter作为Prometheus的target。默认暴露的端口是9283地址：ip:9283里面有非常多的指标当然端口也是可以修改的安装Prometheus编写yum源安装yum install prometheus -y ..

扩容最好一个个osd的加，否则数据再平衡需要较长的时间如果业务流量比较大的话，可以先暂停到数据的rebalance（相当于设置标志位）ceph osd set norebalanceceph osd set nobackfill两个必须都关掉才能有效果等业务流量高峰期过了重新设置标志位即可ceph osd unset norebalanceceph osd unset nobackfill查看每块盘的延迟ceph osd perf如果有盘延迟特别高，说明出现了问题，需..

title: ceph单osd创建遇到的问题categories:cephtags:ceph当我们只有一个磁盘去创建单个osd的时候最好先在config中设置如下内容：osd pool default min size = 1osd pool default size = 1如果不这样设置会导致直接创建rgw的时候默认按照三副本的方式给你创建pool的副本，但是此时只有一个osd，就会导致下图场景发生[版本选择]不管如何重启都会导致osd完全崩掉，并且rgw服务虽然存在

动态监视客户端ceph -w查看、调试内核参数ceph --admin-daemon {sock的地址 一般在/var/run/ceph/下} help会显示当前的sock对应的命令调整参数ceph --admin-daemon {sock的地址 一般在/var/run/ceph/下} config set {参数} {对应值}查看各项参数ceph --admin-daemon {sock的地址 一般在/var/run/ceph/下} config show...

设置三台linux主机并配置不同的ip地址以及内网地址我设置的ip网址为：192.168.236.121 192.168.236.122 192.168.236.123内网地址为：192.168.100.101 192.168.100.102 192.168.100.103设置三条主机名分别为node1、node2、node3hostnamectl set-hostname node1bash #使得命名生效编写hosts文件并传递到另外两个主机上免密钥登录ssh-ke..

安装 Go 语言环境导出 Ceph 信息到 Prometheus 有多种方式，本文采用的是 DigitalOcean 的 ceph_exporter，ceph_exporter 使用 go 语言编写的，所以需要先安装 go 语言环境。还是一条命令解决：$ sudo apt install -y golang安装好后执行 $ go env 命令验证并查看一下 go 环境信息。此处需要注意一下GOROOT，有可能不是/usr/lib/go-1.6，需要在/usr/lib下查看当前go库的名字，$

ceph-ansible官网检查环境ansible主机ansible安装yum install ansible -y设置host# vim /etc/ansible/hosts[mons]node01node02node03[mgrs]node01node02node03[osds]node01node02node03[rgws]node01node02node03[mdss]node01node02node03[grafana-s

设置ymal文件generate_fsid: truemonitor_interface: ens5f0journal_size: 5120public_network: 192.168.74.0/24cluster_network: 192.168.74.0/24ceph_docker_image: "ceph/daemon"ceph_docker_image_tag: master-d4b8dde-mimic-centos-7-x86_64containerized_deployment

ceph-ansible 5.0优势：需要部署的节点数量越多，ceph-ansible的效率就越高版本信息：ceph-ansible:5.0.5 ceph 15os:centos 7.9.2009kernel version:5.4.93-1.el7.elrepo.x86_64集群拓扑ceph-admin192.168.200.120192.168.100.120ceph-node01192.168.200.121192.168.100.121ceph-n

内核级别挂载，性能高创建mds服务ceph-deploy --overwrite-conf mds create node1为了保证高可用需要部署多个mds服务ceph-deploy --overwrite-conf mds create node2ceph-deploy --overwrite-conf mds create node3创建fs的元数据池和数据池ceph osd pool create cephfs_metadata {pg_num} {pgp_num}ceph o

查看出错的详细信息ceph health detail启用资源服务(主要的设置资源池种类，方便做好分类)查看资源池的分类ceph osd pool application get demo查看crash的情况ceph crash ls查看具体的crash情况ceph crash info <id>删除crash报警（如果是误报的话）ceph crash archive <id>ceph crash archive all直接删除crash..

问题复现直接使用minio java sdk（8.3.3版本）对ceph集群中的compose桶中的已存在的多个文件（test1,test2）进行合并(test)，代码如下 @Test void contextLoads() throws Exception{ MinioClient minioClient = MinioClient.builder() .endpoint("http://172.23.27