- 博客(57)
- 收藏
- 关注
RSS订阅原创 【工具相关】showdoc文档管理平台部署实践
showdoc是国内一款开源的文档管理系统，可用于编写API文档、数据字典、说明文档。综合实际存在的痛点，统一部门内部文档管理，搭建文档管理平台，用于管理开发、测试各项任务输出归档。
2024-03-06 21:00:00
1797
原创 【硬件相关】SMART硬盘健康状态监测
S.M.A.R.T，即Self-Monitoring Analysis and Report Technology（自我检测、分析及报告技术），是一种自动的硬盘状态检测与预警系统规范。通过在硬盘硬件内的检测指令对硬盘部件（如磁头、盘片、马达、电路等）运行情况进行监控，记录并于硬盘厂商设定预期安全值进行比对，若监控情况将要或已超过预设安全值的范围，则通过主机的监控硬件或软件自动向用户作出警告，并进行轻微自动修复，以保障硬盘数据安全。本文主要介绍硬盘SMART技术及参数信息解读，根据相关状态预测磁盘异常情况
2024-03-04 19:09:09
3621
原创 【硬件相关】IB网/以太网基础介绍及部署实践
Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术，这项技术是由 IBTA (InfiniBand Trade Association)定义的，该技术在超级计算机集群领域得到了广泛的应用。本文主要介绍IB网/以太网基础及部署实践过程
2024-03-02 23:04:34
4075
原创 【硬件相关】RDMA网络类别及基础介绍
分布式存储常见网络协议有TCP/IP和RDMA两种，传统TCP/IP协议无法满足高性能计算、AIGC大模型分析等高并发、低时延应用，通常会采用RDMA来满足高吞吐、低延时的网络通信要求。本文主要介绍RDMA网络类别及相关基础知识
2024-03-02 22:51:32
1203
原创 【开源存储】minio对象存储部署实践
minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
2023-12-02 22:30:00
1903
原创 【开源存储】glusterfs分布式文件系统部署实践
GlusterFS（Gluster File System）是一款高性能、可扩展的分布式文件系统，它将多个物理服务器上的存储资源整合为一个统一的命名空间，实现了对分布式存储资源的集中管理和访问。它通过横向扩展、数据冗余、高性能和易于管理等特点，为用户提供了高效、安全的分布式存储解决方案。
2023-12-02 22:15:00
2484
原创 【存储测试】fio存储性能测试工具
fio（flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件，适用于文件及块接口性能测试。
2023-12-01 22:57:03
2138
原创 【开源存储】OpenZFS文件系统部署实践
OpenZFS 是一个高级文件系统和卷管理器，最初是为 Solaris 开发的，现在由 OpenZFS 社区维护。本文主要介绍OpenZFS部署实践及问题解决过程
2023-11-30 19:46:15
2176
原创 【Lustre相关】功能实践-04-配额管理(Quotas)
配额由root用户设置，可以对用户、用户组、项目可使用磁盘空间进行限制，支持inode（文件数量）和block（文件容量）两种限制方式注：项目配额支持需服务端和客户端均为Lustre 2.10及更高版本，OST池配额支持需要服务端和客户端均为Lustre 2.14及更高版本
2023-11-29 20:38:25
1187
原创 【Lustre相关】功能实践-03-文件级冗余(FLR)
在文件级冗余（File Level Redundancy，FLR）特性出现之前，Lustre文件系统数据冗余完全依赖于后端存储设备（如RAID6）。Lustre在Lustre 2.11.0版本引入了FLR特性来解决文件冗余问题，通过为多个OST的数据指定镜像文件布局来减轻这种依赖，以便于在OSS/OST异常情况下，文件数据仍然可用，通过比较镜像文件，可以检查和修复数据的完整性。此外，通过多个镜像文件可以提高单个文件并行读取聚合性能。
2023-11-29 20:32:24
1099
原创 【Lustre相关】功能实践-01-Lustre集群部署配置
io500是针对存储性能评测的一个权威国际排行榜，主要包括带宽和元数据性能测试部分，共计十二项严苛的场景测试，该基准使用大文件的读/写带宽和小文件读/写/查询性能来衡量存储性能，这些性能也是影响大数据分析、人工智能、高性能计算的关键因素。Lustre是一个开源高性能并行文件系统，专注于HPC高性能并行计算场景，几乎占据io500榜单三分之一的位置。本文主要介绍Lustre集群架构及部署配置说明
2023-11-28 22:15:26
2645
原创 【Lustre相关】应用部署-03-Lustre集群部署实践（软raid方案）
以实际项目作为案例，阐述lustre软raid集群部署过程，包含高可用配置方案介绍及常见配置文件解决方法
2023-11-27 21:00:00
1875
原创 【硬件测试】01-SPECpower能效评估工具
SPECpower_ssj2008目前是一个比较客观的服务器能耗标准，常用于中国电信、中国移动等运营商服务器集采选型测试中，它可以很好地检测服务器产品能耗，评估后期运行电费，为IDC机房规划建设、能耗分析与控制提供科学依据本文主要介绍SPECpower能效评估工具部署及使用
2023-11-25 11:22:47
2891
3
原创 【访问控制】cgroup限制磁盘读写
blkio是cgroup中的一个子系统，可以用于限制及监控磁盘读写ioblkio控制子系统可以限制进程读写的 IOPS 和吞吐量，但它只能对 Direct I/O 的文件读写进行限速，对 Buffered I/O 的文件读写无法限制Buffered I/O 指会经过 PageCache 然后再写入到存储设备中。这里面的 Buffered 的含义跟内存中 buffer cache 不同，这里的 Buffered 含义相当于内存中的buffer cache+page cache。
2023-10-07 15:58:05
500
原创 【访问控制】hosts.allow/deny配置说明
一个IP请求连入，linux的检查策略是先看/etc/hosts.allow中是否允许，如果允许直接放行；如果没有，则再看/etc/hosts.deny中是否禁止，如果禁止那么就禁止连入。两个配置文件的关系为：/etc/hosts.allow 的设定优先于/etc/hosts.deny。
2023-10-07 15:53:17
3018
原创 【硬件相关】交换机配置说明
为最大化利用网卡资源，实现网络聚合或负载均衡，通常会对网卡配置bond模式，其中部分模式需要交换机支持，本文主要介绍华为交换机、h3c交换机端口聚合配置说明
2023-10-07 15:50:27
790
原创 【问题处理】常见Linux系统启动失败
在实际生产使用过程中，经常会遇到重启服务器之后，系统启动引导失败问题，本文主要介绍了常见Linux系统启动失败问题及对应解决措施
2023-10-07 15:29:49
2495
原创 【硬件相关】LSI MegaRAID阵列卡性能调优
由服务器硬盘组成的RAID阵列读写IO性能差，需要开启cache缓存提升性能，本文主要介绍LSI MegaRAID阵列卡常见性能调优参数
2023-08-15 10:52:17
2146
原创 【VMware相关】VMware VAAI特性说明
VAAI （vSphere APIs for Array Integration）是vSphere与存储系统结合的一组API，支持块存储（Block Storage Devices）和文件存储（NAS Devices ），主要包括Hardware Acceleration APIs和Array Thin Provisioning APIs两部分，前者主要提供硬件加速功能，后者主要提供空间管理功能本文主要介绍VAAI相关特性
2022-11-08 17:51:28
1682
原创 【ceph相关】ceph基准性能测试工具
本篇主要介绍几种ceph原生基准性能测试工具以及各自对应使用方法不同于fio、vdbench等上层应用接口测试工具，ceph提供了一些自带的基准性能测试工具，用于测试rados、rbd等底层存储基准性能，可以比对底层基准性能和上层应用基准性能，确定潜在可调优的空间
2022-08-23 18:01:39
3350
原创 【VMware相关】VMware vSphere部署配置
本文主要介绍VMware vSphere部署实践及相关问题处理VMware vSphere是VMware的虚拟化平台，可将数据中心转换为包括CPU、存储和网络资源的融合计算基础架构。vSphere的两个核心组件是ESXi和vCenter Server。ESXi：用于创建并运行虚拟机和虚拟设备的虚拟化平台vCenter Server：用于管理网络中连接的多个ESXi主机，并将ESXi主机资源池化
2022-08-19 18:03:27
3476
原创 【ceph相关】osd异常问题处理（lvm信息丢失）
实验环境中，出现磁盘lvm信息丢失，磁盘未挂载，导致osd启动失败本文主要介绍如何重建lvm信息，以及如何恢复osd启动
2022-07-01 18:28:00
1883
原创 【工具相关】ffmpeg音视频处理
ffprobe 是一个多媒体流分析工具。它从多媒体流中收集信息，并且以人类和机器可读的形式打印出来。它可以用来检测多媒体流的容器类型，以及每一个多媒体流的格式和类型。它可以作为一个独立的应用来使用，也可以结合文本过滤器执行更复杂的处理。
2022-06-01 14:13:54
447
原创 【共享服务】iscsi多路径配置
为了主机可以使用 iSCSI 多路径访问存储设备，我们需要在主机上安装多路径设备映射器 (DM-Multipath)。多路径设备映射器可以实现主机节点和后端存储之间的多个 I/O 路径配置为一个单一逻辑设备，从而可以提供链路冗余和提高性能。主机通过访问包含多个 I/O 路径的逻辑设备，就可以有效提高后端存储系统的可靠性。
2022-06-01 14:08:01
2911
原创 【开源存储】beegfs并行文件系统部署实践
BeeGFS是行业领先的并行集群文件系统，设计时优先考虑性能强大的同时，安装和管理非常方便，是I/O密集型工作负载的优质存储开源解决方案本文主要介绍相关配置说明及实践过程
2022-06-01 13:49:28
3074
原创 【ceph相关】opencas缓存加速配置说明
OpenCas，即Open Cache Acceleration Software（开放缓存加速软件），是Intel搭配自家硬件推出的一个开源缓存加速软件，可运行在Linux和Windows操作系统上。OpenCas作为内核模块安装到Linux操作系统内，将高性能缓存盘（cache device）和大容量存储盘（core device）绑定生成新的设备分区，当对新的设备分区读写时，可利用高性能缓存盘提高读写性能，降低读写时延。本文主要介绍相关配置说明及实践
2022-06-01 13:45:29
2507
原创 【ceph相关】pcie ssd相关问题处理
基于高性能计算场景，我们常常需要用到一些高性能的SSD作为缓存加速，譬如pcie ssd等，本文主要记录在使用pcie ssd作为ceph osd时遇到的一些问题及对应处理方法
2022-06-01 11:54:05
764
原创 【ceph相关】bucket动态分片问题处理
Hammer版本以后，新增bucket分片功能用以解决单桶存储大量数据的问题，bucket的索引数据可以分布到多个RADOS对象上，bucket存储对象数量随着索引数据的分片数量增加而增加。但这只对新增的bucket有效，需要提前根据bucket最终存放数据量规划分片数。当存储桶写入对象超过分片所能承载的最大数时，写入性能暴跌，此时需要手动修改分片数量，以此去承载更多的对象写入。
2022-06-01 11:49:48
827
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人