容器启动加速-nydus Nydus是一个镜像加速器,主要通过容器启动时懒加载镜像提高启动速度, 大镜像可以秒级启动,后续的读写通过COW方式。以下是nydus的几个标签:- Nydus是蚂蚁、阿里云、字节等共建的开源容器镜像加速项目- CNCF孵化的项目Dragonfly中的一个子项目- 新的镜像格式,不同于oci- 良好的生态,兼容containerd、k8s、harbor、buildkit -- 从构建、存储、部署、到CI集成,有丰富的解决方案
Pulumi架构与使用 github项目介绍: Universal Infrastructure as Code. Your Cloud, Your Language, Your Way 🚀通用基础设施即代码,你云你素,用熟悉的方式、熟悉的语言通过pulumi去管理自己的云平台。通俗点来说,pulumi是一个基础设施资源编排器,写好编排代码,例如定义的yaml、或者编程语言golang等,通过动作触发即能完成各种云资源的增删改查等基础设施的管理,使用pulumi可以轻松构建自己的多云平台。
企业级Jenkins实践 Jenkins作为开源的自动化CICD工具,自横空出世以来,为企业提供了稳定的CICD基础服务,也提供了丰富多彩的插件,用以包罗生态内各种软件、提供大量方面的快捷操作等。云原生自出世以来大行其道,对计算服务提供了高效便捷的编排管理,成为当前计算服务生命周期管理方案的不二之选。Jenkins可以使用k8s的pod作为slave,达成了云计算按需分配的特点Jenkins可以通过k8s部署,实现高可用、与生命周期管理,提高服务交付效率、降低维护成本。
OpenStack GPU直通服务器 直通GPU 云服务器(GPU Virtual Machine)是基于 GPU 的快速、稳定、弹性的计算服务,主要应用于深度学习训练\推理、图形图像处理以及科学计算等场景。直通GPU 云服务器提供和标准 云服务器一致的方便快捷的管理方式,相对于vGPU云服务器,直通GPU使用的PCI透传技术能带来几乎和物理设备同等的性能。
Java应用云原生构建优化 Jib可以加快至少 20% 的构建时间,多个服务同时使用Jenkins+Jib构建时,平均单个应用可以节省20s构建时间附录: 测试说明Jib最佳实践为应用集成以Maven插件的方式集成JibJib可以节省打包服务器的本地空间google开源的java应用构建容器镜像的工具支持集成在Maven/Gradle解决了java应用构建容器镜像无需依赖三方软件(Docker)的问题,拥有构建块、占用本地空间少等优势模拟生产环境常用场景在测试环境测试的数据可得出如下结论。
Kubesphere与Jenkins的集成解析 kubesphere 使用可插拔的 devops 模块实现devops功能devops驱动jenkins实现具体的操作,例如流水线等devops与kubesphere的关系如下图, 详细的组件介绍。
Octavia访问频繁引起SYN洪泛的分析与解决 layout: posttitle: Octavia访问频繁引起SYN洪泛的分析与解决catalog: truetag: [OpenStack]1. 问题2. 排查2.1. gdb定位下代码卡在哪里2.2. dmesg 日志2.3. strace查看系统调用2.4. 查看连接状态2.5. 查看socket统计信息3. 解决4. 总结5. 参考1. 问题octavia-api进程跑一会就卡死,api无响应,telnet也无响应2. 排查思路主要是查应用代码.
Minio集群部署 1. 准备部署1.1. 版本说明1.2. 分区配置2. 部署minio2.1. 二进制包2.2. 启动minio3. prometheus监控3.1. 安装mc3.2. 配置mc4. 附录4.1. 数据在磁盘的组织形式4.1.1. 小文件4.1.1.1. 探索4.1.1.2. 结论4.1.2. 大文件4.1.2.1. 结论4.2. 扩容4.3. 更换硬盘/更换主机4.4. 推荐配置[4.5. server pool1](#45-..
Minio VS Ceph Minio作为分布式存储新秀,从2016年发布第一个版本到现在短短6年时间,github start已达到31.9K, 远超2015年发布的另一款分布式存储 seaweedfs 13.9k、及2010年的Ceph 10.2k,一时风头无二;但贡献者Ceph 1172人,而Minio只有337,sweedfs只有146, 社区活跃度来讲离Ceph有不小的差距。国内生产真正大规模使用Minio的比较少见,跟当前License有不小的关系。
对象存储S3权限控制 layout: posttitle: 对象存储S3权限控制catalog: truetag: [Ceph, S3]1. 背景1.1. 需求1.2. 存在的问题2. 几种已有方式的使用2.1. 更改用户2.2. policy授权2.2.1. example2.2.2. 设置2.2.3. 设置效果2.2.4. 参考示例2.3. acl3. 关于s3文档1. 背景1.1. 需求A用户创建了一个桶bucket1B用户需要能对桶bucket1进行操作.
Ceph编译 1. 环境2. 下载Ceph代码3. 选择分支4. update submodule5. 下载依赖6. 安装devtoolset7. 编译二进制8. 编译rpm8.1. 先编译dist包8.2. 编译rpm包8.2.1. 编译srpm包8.2.2. 编译rpm包9. 参考build Ceph编译需要的时间比较长,建议在screen里面编译,防止terminal连接中断如果在根目录挂载的文件系统下编译,根目录至少有100G可用空间如果是其他目录单独..
CephFS高可用的NFS-Ganesha网关 1. 概述2. 术语3. nfs-ganesha3.1. 介绍3.2. 架构3.2.1. 总体架构图3.2.2. 架构说明3.2.3. genesha-rados-cluster设计3.2.3.1. 客户端恢复(单体情况)3.2.3.2. 宽限期(单体情况)3.2.3.3. Reboot Epochs3.2.3.4. gracedb3.2.3.5. 集群3.3. 高可用集群实现4. 部署4.1. 环境说明4.2. 安装软件4.2.1. 配置yum源..
使用Rook安装Ceph layout: posttitle: 使用Rook安装Cephcatalog: truetag: [K8S, Ceph]1. Rook简介2. Rook架构3. Rook部署3.1. 前提3.2. 环境描述3.3. 部署3.3.1. 获取rook代码3.3.2. 修改变量3.3.2.1. cluster.yaml3.3.2.2. operator.yaml3.3.2.3. 其他配置3.3.3. 开始部署3.3.4. 部署成功的状态3.3.4.1. po状态.
OpenStack卷启动的虚拟机rebuild无效 1. 描述2. 相关资料3. 修复方案4. 分析过程1. 描述卷启动的虚拟机rebuild无效,rebuild卷启动的虚拟机相当于仅仅对虚拟机进行了一次重启。版本信息如下组件版本openstacktrainnova20.6.0-1看了好几遍rebuild的代码,都没有找到对卷启动的云硬盘重建或者数据清空的操作,最后找了下社区,找到了一些资料,原来社区没实现对卷启动虚拟机的rebuild,怪不得没找到相关的代码逻辑。2. 相关资料社区要实现一个..
OpenStack 镜像修改密码 1. 场景2. 环境3. 操作3.1. Linux3.2. Windows3.2.1. raw 镜像3.2.2. qcow24. 参考1. 场景查看操作虚拟机镜像的文件系统查看/修改 windows 镜像密码查看/修改 linux 镜像密码、cloud-init 文件其他2. 环境|环境|版本|备注||OS|CentOS7.9|||libguestfs|1.40.2-10.el7.x86_64|||libguestfs-tools|1.40.2-10..
一次CephFS性能分析 一次CephFS性能分析1. 背景2. 性能分析思路2.1. 理论值计算2.2. 实际操作下看能不能复现2.2.1. 性能分析关注点2.2.2. 开始分析2.2.2.1. ceph -s2.2.2.2. 查看mds服务2.2.2.3. 查看ceph osd perf2.2.2.4. 查看磁盘iostat2.2.2.5. 网络2.2.2.6. 客户端磁盘3. 总结1. 背景小明在使用文件系统的过程中发现上传一个文件夹花了半个小时,下载一个文件夹要花更长的
Ceph fuse挂载 1. 前提2. 命令行3. fstab4. 关于fuse的挂载参数无配置挂载,指定IP挂载1. 前提# 写入keyring到文件echo -e "[client.admin]key = AQDk18FgMo7NABAA4ufuz3O6/0lE4vsVgHs1yQ==" > /var/cephfs_keyring2. 命令行# fuse挂载ceph-fuse -m 172.16.81.237:6789,172.16.81.238:6789 --no-mon-conf..
Certificate verification failed: The certificate is NOT trusted. The certificate issuer is unknown. 1. 问题描述2. 解决方式1. 问题描述|组件|版本|备注||Ubuntu Docker Image|20.04||使用镜像时无论是镜像默认源还是清华源、阿里源都报错Certificate verification failed: The certificate is NOT trusted. The certificate issuer is unknown. Could not handshake: Error in the certificate verificationg..
rgw index对象存储在rocksdb中的组织形式 0.1. 定位index对象0.2. 分析rocksdb0.1. 定位index对象找到某个桶的bucket index对象radosgw-admin bucket stats --bucket test"id": "c96a8bc3-c206-46a9-9f4a-71f80f7a8e95.24169.1"查到他在哪个osdceph osd map default.rgw.buckets.index .dir.c96a8bc3-c206-46a9-9f4a-71f80f7a..
OpenStack集成Ceph 1. 版本说明2. 前期准备2.1. 创建keyring2.2. 创建pool2.3. 安装依赖包3. glance 对接3.1. glance-api.conf4. 对接nova4.1. libvirt配置4.2. nova conf配置5. 对接cinder5.1. /etc/cinder/cinder.conf5.2. virsh secret(所有计算节点)5.3. 配置cinder type6. 测试6.1. 上传镜像6.2. 以镜像创..