超算系统重要节点目录的备份

最新推荐文章于 2024-01-12 16:21:48 发布
转载 最新推荐文章于 2024-01-12 16:21:48 发布 · 289 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/wangnengwu/p/5685879.html

本文介绍了超级计算机中关键节点的备份策略，特别是针对lsf作业调度系统节点、NIS服务节点及并行存储MGR节点的备份方法。通过定时计划任务实现对重要目录的备份，确保系统的稳定运行。

超算上一些重要角色节点：

node100 node101   (lsf作业调度系统节点，和PAC网站页面管理）

node108 node105  (NIS服务主从节点）

node166               (parastor并行存储 MGR节点)

 

备份策略：备份可以通过定时计划任务 /etc/crontab 来进行备份，备份到/home目录，也即是备份到存储目录；

1 对node108节点的/etc /opt /root等重要目录进行备份：

 * 3 * * 6  root tar -zcPf  /home/public/node108.`data+\%Y\%m\%d`.etc.tar.gz      /etc   （备份/etc目录）

 * 4 * * 6  root tar -zcPf /home/public/node108.`data+\%Y\%m\%d`.opt.tar.gz     /opt   (备份/opt目录）

*  5  * * 6 root tar -zcPf /home/public/node108.`data+\%Y\%m\%d`. root.tar.gz  /root    (备份/root目录）

 

其他节点备份也和node108节点一样进行备份；

转载于:https://www.cnblogs.com/wangnengwu/p/5685879.html

超算网络体系架构-资源层-平台层-服务层-应用层
ZJQ的博客
07-16 3万+
提供灵活的计费策略，对机时类、容量类、应用类、服务类等资源进行分类和聚合,提供固定价格、阶梯价格等计费方式;提供线上线下等多种资源购买方式，支持用户在线支付;支持平台与多中心之间、平台与商户之间、平台与个体开发者之间等的结算机制;建立交易结算体系，实现跨地域、跨运营主体的结算通道。
小白使用超算slurm作业调度系统提交作业（看完这篇就够了）
qq_43155641的博客
03-21 8533
上传项目文件到超算，安装conda后，超算平台本身没有GPU，用sinfo查看后，如何调用GPU来运行项目？那就需要slurm作业调度系统来提交作业（其实就是提交项目，让他调用GPU来运行项目）
IBM Platform LSF家族安装和配置简介
qq_43653083的博客
04-29 8842
集群结构 较大的集群都会设计单独的登录节点，用户只能ssh到登录节点，不能直接ssh到集群的任何主节点和计算节点。同时配置用户在计算节点之间的ssh互信，为了并行作业的运行。 登录节点也安装LSF，配置为LSF静态Client或者MXJ值为0，也即不运行作业的客户端。集群的WEB节点与办公访问局域网一个网段。如需使用浮动client，主节点网卡需要 单纯LSF环境（命令行提交）...
超级计算LSF作业调度系统（web界面集群管理）
weixin_30642869的博客
07-19 3411
简介：LSF机群作业管理系统是曙光公司自己的一套作业管理系统，采用B/S架构，直接在网页管理界面就可以管理整个作业和作业节点； 1 LSF常用作业管理命令： 作业提交bsub 查看自己运行的所有作业的情况bjobs 跟踪某任务屏幕输出bpeek bkill 杀死某个作业 bqueues作业队列情况 bstop停止挂起作业 bresume 恢复挂起作业 lshost查看节点信息 ...
LSF 概览——了解 LSF 是如何满足您的作业要求，并找到最佳资源来运行该作业的
qq_43653083的博客
10-31 1440
IBM Spectrum LSF ("LSF", load sharing facility 的简称) 软件是行业领先的企业级软件。LSF 将工作分散在现有的各种 IT 资源中，以创建共享的，可扩展的和容错的基础架构，从而提供更快，更可靠的工作负载性能并降低成本。 LSF 平衡负载和分配资源，并提供对这些资源的访问。
副本集主节点设置与主节点备份节点的转换
我的博客
03-15 1035
config = {"_id" : "gpower" , "members" : [{"_id" : 0 , "host" : "192.168.2.4:27017"},{"_id" : 1 , "host" : "192.168.2.6:27017", "priority" : "0",
使用超算小结
itsonlytime的博客
09-12 5938
最近在学习使用超算来跑实验室的程序，将一周的学习心得记录在这。另外，Linux的及超算使用的基础几乎为0，描述有错请及时指正！ 前提：使用的超算集群分为登录服务器user@login和其他运算服务器，以下统称为n节点，且整个集群共用同一存储。可以理解为系统为每一位用户开辟一块存储，登录节点只允许登录登出操作，部署任务需要切换到其他可用的节点，但由于这些节点共用存储，所以只需将程序和数据上传一次即...
超算中心运营管理系统分析与设计.pdf
11-28
在本文中，我们将深入探讨超算中心运营管理系统的关键组成部分、设计原则以及其在实际应用中的重要性。 一、系统组件 1. 资源管理：超算中心的核心是其庞大的计算资源，包括计算节点、存储设备和网络基础设施。...
《超算竞赛导引》阅读笔记
qq_37481260的博客
01-25 1409
《超算竞赛导引》阅读笔记 ** 第一课 超算的发展与应用 ** 超算的发展与架构分类 第一代的超级计算机是单指令多数据流（SIMD）的阵列处理机 第二代的超级计算机是具有流水结构的向量机 （向量机系统结构按向量操作对象及结果主要存放 在寄存器中还是存储器中，可分为存储器-存储器工作方式向量机和寄存器-急促你工作方式向量机两大类。前者：向量操作的源向量都取自主存且操作生成的结果向量也存放在主存中，...
2025年智能超算网络带宽优化试题（含答案与解析）-中级卷.docx
09-03
在网络冗余设计方面，通过构建多个路径和备份系统，提升网络的稳定性和数据传输的可靠性。在网络优化方面，光模块升级可以提高网络设备的数据处理能力，进而提升网络传输性能。 在智能超算网络的安全防护上，防火墙...
超级计算机体系结构
11-27
超级计算式我们在现代处理器中看到的许多技术的发展动力。超级计算机和桌面计算正向着异构计算发展，人们试图将中央处理器（CPU）和图形处理器（GPU）技术混合在一起来实现更高的性能。
超算节点内存泄漏原因和处理
weixin_30418341的博客
07-19 705
1 内存泄漏的原因：应用程序在占用内存后，退出时没有及时的放出内存，导致没有放出的这块内存不能被其他程序使用，从而出现内存变小，泄漏问题；终究原因其实就是程序没有写好。 2 内存泄漏的判断：可以通过shell脚本检测出节点的内存大小，并比对节点已安装的内存大小，如果小于节点原始内存大小，则表示内存出现泄漏情况； 处理步骤： 1内存泄漏严重的话，会严重影响应用或者计算作业的运行情况，这个时候先...
IBMPlatformComputing工作负载管理解析
weixin_34301307的博客
10-02 457
本文讲的是<strong>IBMPlatformComputing工作负载管理解析，</strong>【IT168资讯】IBM Platform Computing提供了一系列工作负载管理能力以优化运行各种采用高性能计算集群的应用，并通过多样化工作负载、业务优先级以及应用资源需求确保较高的资源使用率。工作负载管理有效地利用计算资源...
LSF 10.1 Community Edition Installation Guide
IT基础架构
05-09 3120
LSF社区版， 每cluster支持up to 10台computing node 每node支持up to两个CPU socket 每node支持up to 50 core 每cluster支持up to 2500个run or pending job
超级计算集群
dingyunwangluo的博客
01-12 853
超级计算集群（Supercomputing Cluster）是一种集成大量高性能计算节点、高速互联网络以及高效能存储系统的计算机系统，用于解决科学、工程、商业等领域中需要极端计算能力的问题。网络互联：采用低延迟、高带宽的互连技术，如InfiniBand、Omni-Path或者最新的以太网技术（如25/100/400Gbps），提供快速的数据交换和通信。通用型超级计算集群实例规格族sccg5，可能配置了均衡计算与内存资源的高性能CPU，适用于广泛的工作负载。极致性能：提供巨大的计算能力和超快的数据处理速度。
北京超级云计算中心操作训练指南
热门推荐
qiaoyurensheng的博客
07-23 1万+
本人在实验室做深度学习图像领域相关研究，前期使用实验室的设备 2080Ti ，运行时间较慢；跑一轮需要6个小时以上；后来开始使用超算，运行速度比实验室快多了，但超算使用前需要相关配置，使用难度相较于本地会难一点，本文以北京超级云计算中心和 yolov5 训练为例，详细介绍超算的环境安装与计算过程。.........
【计算系统】5分钟了解超算，高性能计算，并行计算，分布式计算，网格计算，集群计算以及云计算的区别
小哲的博客
11-01 8750
也就是常说的GPU运算，不同于CPU，GPU一般集成了上千个核心于一体，具备普通CPU无法比拟的浮点计算性能，因此非常适用于图像处理、虚拟现实和计算机仿真等一类科学领域的应用，近几年发展火热的人工智能、机器学习等技术应用背后也是依靠GPU运算在做支撑。当然，这个资源池越大，每个用户能够获得的资源就会越多，排队等待的时间也就越短，加上一些合理的编程优化，每个计算任务的耗时就会越短，以此加速科研进程。从效率上看，使用网格计算，可以将一个庞大而复杂的任务分解为多个子任务。还可以经济高效地访问云中的资源。
新手上手超算平台最易方法
qq_39694857的博客
05-13 909
前言（可以忽略不看） 知道要在这个平台上跑代码的时候，教程上说的是运行.py文件需要slurm语言提交脚本语言。于是开始百度，结果有的根本就没有讲脚本语言是使用vim编写，使用 vim ee.sh进入编写，至于如何退出，可以参考这个。 对了，千万不要在登入节点运行代码。 正篇： salloc -N 1 #表示申请一个节点 它会返回一个作业号 squeue 找到作业号对应的行，那行最后一个位置就是节点号 ssh c340 然后就像你在你自己电脑命令行上运行代码一样就可以了 使用conda activ
超算平台开发环境
qq_43561827的博客
05-24 1222
core 文件，确切说是 core dump 文件，core 是内存的映像，当程序崩溃时，dump 是“扔出来”的意思，即核心 已转储，实际上就是有问题的程序运行后，产生“段错误 (核心已转储)”时生成的具有堆栈信息和调试信息的文件。一个目标（或者说总体目标，即最终的执行文件），会依赖一 些文件（如源文件、目标文件、库文件等），所依赖的文件也 可以作为新的目标（子目标）放在后面，建立其对应的规则。④ 编译二进制文件 （通过编译器GCC完成）可：查看系统状态，提交作业，加载执行计算任务，查看历史作业信息等。
个人想学习超算，有什么超算平台推荐
最新发布
09-07
<think> 嗯，用户这次想获取适合个人学习超算的平台推荐。结合对话历史和提供的引用资料，用户应该是个刚开始接触超算的学生或自学者，需要实际可操作的资源。 注意到用户前两次提问都聚焦在超算平台的功能特性（如模型部署、资源调度），这次转向实操层面，说明ta可能完成了理论学习阶段，准备动手实践。不过个人使用超算确实存在门槛，需要重点推荐那些对初学者友好的平台。 从引用[3]华科超算手册看，高校超算平台通常有环境配置限制（如conda环境锁定），这对新手不太友好。但国内部分超算中心的教育版反而更合适，像鹏城云脑的轻量级容器服务就解决了环境隔离问题。 国外资源方面，引用[2]提到的Linux超算搭建教程很有价值，但用户可能需要更多现成资源。AWS Educate和谷歌Cloud的学术计划应该优先推荐，因为它们的免费额度足够运行MPI基础实验。 用户没提具体学习方向，所以推荐要覆盖全面些： - 并行编程练习首选SageMaker Lab（集成MPICH） - AI模型实验用百度昆仑芯开发板（国产化适配） - 想体验真实超算环境可试试芬兰CSC的MyCuda（引用[1]提到的异构计算案例） 特别要提醒权限问题。引用[3]的例子说明新手常卡在环境配置，建议明确标注各平台的权限规则（如哪些支持sudo，哪些必须用容器）。 最后生成的问题要引导用户细化需求，毕竟“学习超算”可能指体系结构、并行计算或AI训练等不同方向。 </think> 根据你的学习需求，以下是适合个人学习超算的推荐平台及使用指南，结合实践场景和资源特点整理： --- ### **一、国内免费/教育版超算平台** 1. **国家超算中心教育版** - **推荐平台**：深圳鹏城云脑（[鹏城实验室](https://www.pcl.ac.cn/)）、无锡国家超算中心教育通道 - **特点**： - 提供CPU/GPU混合计算资源，支持MPI并行编程、AI模型训练[^1] - 集成Jupyter Lab环境（参考引用[3]），可直接运行Python科学计算 - **学习门槛**：需提交学生身份认证，审核通过后分配免费计算额度 - **适用场景**：并行算法验证、中小规模深度学习训练 2. **高校开放超算平台** - **案例**： - 华中科技大学超算平台（参考引用[3]）：提供Slurm作业调度系统，支持Conda环境自定义 - 上海交通大学“思源一号”教育专区 - **操作要点**： - 需使用`module load`加载环境（如GCC, OpenMPI） - 避免直接修改预设环境，通过`conda create -n myenv`创建独立环境解决权限问题[^3] --- ### **二、国际免费学术资源** 1. **AWS Educate / Google Cloud Research Credits** - 提供$100-$300免费云算力，可部署Slurm集群 - 适合练习超算集群搭建（参考引用[2]的Linux超算配置） 2. **EUROLAB-4 Virtual Access**（欧洲超算联盟） - 开放LUMI超算教育容器，预装OpenMPI、HPL基准测试工具 - 支持通过SSH连接运行分布式计算任务 --- ### **三、本地模拟学习方案** #### ▶ **单机模拟超算集群** ```bash # 使用Docker部署多节点MPI集群（需安装Docker Engine） $ docker run -it --name node1 ubuntu:20.04 $ docker run -it --name node2 ubuntu:20.04 # 配置SSH互信后运行MPI作业 $ mpirun -np 4 -host node1,node2 ./my_mpi_program ``` #### ▶ **轻量化工具链** | 工具 | 用途 | 学习项目示例 | |---------------|--------------------------|---------------------------| | **OpenMPI** | 消息传递接口 | 矩阵并行乘法 | | **Slurm** | 作业调度模拟 | 配置多用户任务队列 | | **GNU Parallel** | 单机多核并行 | 批量数据处理 | --- ### **四、学习路径建议** 1. **基础阶段** - 在本地Docker环境练习Linux操作和MPI编程 - 运行`HPL`（High Performance Linpack）基准测试[^2] 2. **进阶阶段** - 申请教育超算资源，提交Slurm作业脚本： ```bash #!/bin/bash #SBATCH --job-name=mpi_test #SBATCH --nodes=2 #SBATCH --ntasks-per-node=4 mpirun ./parallel_algorithm ``` 3. **实战阶段** - 在鹏城云脑运行AI训练（如PyTorch分布式训练） - 使用超算Jupyter分析科学数据集（参考引用[1][^3]） --- ### **注意事项** 1. **环境隔离** - 优先用Conda创建虚拟环境，避免依赖冲突（如引用[3]的PyTorch安装问题） 2. **资源申请** - 教育平台通常限制单任务GPU卡数（如≤4卡），需合理设计实验规模 3. **数据管理** - 超算平台通常不持久存储数据，定期用`rsync`备份结果到本地 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值