离线浪潮(aiStation)服务器python代码环境配置(自用)

昨天花了一天的时间去琢磨怎么去配置浪潮的实验环境,因为安全缘故,服务器并不联网,配置起来十分麻烦,一开始搞错了思路,后在自己的试错下,也算是成功配置了实验环境,在此给自己记录一下,需要一个和浪潮服务器环境相同的系统。

使用xftp接服务器

 在数据管理的页面可以看到可以用自己的用户名和密码链接172.17.71.11:22从而连接服务器,注意这里的用户名为登录账号,密码却不是登录密码,点击该页面的复制密码,获取密码,在xftp上新建链接输入主机端口号,用户名和密码就可以连接到服务器,这样就可以上传和下载了

 创建镜像资源

需要先创建一个镜像

在这里可以选择管理员或者其他用户上传的镜像环境

 这里我使用的是我师兄分享的镜像资源,其他的环境我没有试着安装过(理论上都可以),选择一个合适的资源开始创建

 这里因为我已经创建了一个环境了,个人可用资源已经用完,所以就不继续演示了,点击确定就行了,然后在开发环境里,就会有一栏显示你的开发环境,排队结束,点击环境名称栏,便可访问

 安装anaconda

在清华源镜像地址,下载anaconda资源,比官网快很多,这里选择的版本看自己需求,我是下载的和我使用的linux系统相同版本的anaconda

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

 用xftp上传到服务器,在终端输入

bash anaconda_******.sh # 后面是anaconda的安装包名

开始安装,安装过程就是按按回车,让你输yes or no,大部分输yes,有一步需要你安装vscoda,这里输no就行了,具体过程不懂可以搜搜怎么离线装anaconda,挺简单的就不细说了,安装完成可以用输入conda --version,测试是否安装成功,如果显示not found的话,则需要配置一下环境变量,首先得知道anaconda的安装路径,使用

echo 'export PATH="***/anaconda3/bin:$PATH"' >> ~/.bashrc # 注意路径前面的星号是自己服务器conda的安装路径

再使用source ~/.bashrc,让其立即其作用,再使用conda --version验证,如果还失败,则可能还没配置好,vim ~/.bashrc查看,注意路径有没有输错,我这里一开始写成的是"root/**",前面没再加"/",导致找不到,实际应该是"/root/**"。

打包anaconda环境

        这里就需要一个和浪潮服务器环境相同的系统,我用的是组里的服务器,因为都是linux的,在一个有网络,并且相同环境下系统里面,安装相同版本的anaconda,配置好你需要的使用的python环境,这里创建环境和配置环境的过程就不多说了,环境创建完成且依赖安装完成之后退出到base环境环境。安装打包需要的依赖包:

conda install -c conda-forge conda-pack

然后开始打包刚刚创建的环境,使用

conda pack -n env -o env.tar.gz # env就是需要打包的环境 env.tar.gz打包的包名

然后就开始打包了,打包过程比较慢,打包完成之后,会保存到当前目录,用xftp将打包好的文件传到浪潮服务器,移动到服务器anaconda的安装路径的envs目录,创建文件夹

mkdir env # env为你需要创建的环境名

使用解压命令将打包好的环境解压到该文件夹内

tar -zxvf env.tar.gz -C env/

使用conda env list命令查看环境

如果列表里有刚刚解压的环境,就说明安装成功了,使用source activate 环境名 进入刚刚导入的环境就可以了(这里我激活的是base环境)

备注

        因为是离线环境,在使用transformers等包的时候,需要下载预训练语言模型,建议在配置联网的服务器下好保存到文件夹,再传到服务器,最后直接加载路径就好了。       

        实际使用起来因为浪潮服务器的网络波动,导致终端很不稳定,建议使用nohup命令,让程序后台运行,日志保存为文件夹

nohup python name.py > log.out # name.py 是要运行的文件名,> 后跟保存的日志文件名

### 浪潮 AIStation 平台概述 浪潮 AIStation 是一款专为企业级训练与推理场景设计的智能业务生产创新平台,旨在通过统一管理和调度计算资源、数据资源以及深度学习软件栈资源,提升从模型开发到部署的整体效率[^5]。该平台能够显著缩短大模型训练时间,并提供高效的算力调度能力。 #### 主要功能 1. **资源管理** AIStation 提供对 GPU 和 CPU 资源的精细化管理,支持动态分配和回收,从而最大化硬件利用率。它还允许用户灵活配置容器化环境,满足多样化的计算需求[^3]。 2. **任务调度** 针对大规模 POD 的快速启动和环境准备进行了专门优化,大幅提升了云原生调度系统的性能。相比于传统社区版本,AIStation 可以实现上千 POD 极速启动,特别适合需要高强度计算的大模型训练任务[^2]。 3. **全流程支持** 从模型开发、训练、评估再到最终的服务上线,AIStation 提供了一体化的工具链支持。这不仅简化了操作流程,也减少了人工干预带来的潜在错误风险。 4. **本地化部署兼容性** 结合 FlagAI 这样的开源框架,AIStation 支持本地化部署方案,进一步增强了其灵活性和适应性。例如,可以通过集成元脑生态中的各类组件来扩展功能范围,适用于不同的应用场景和技术要求[^4]。 #### 技术特点 - **毫秒级调度**:凭借先进的调度算法,AIStation 实现了极高的响应速度,在面对复杂的工作负载时仍能保持稳定表现。 - **高可用性和可靠性**:无论是单机还是分布式集群环境下运行,都能保证长时间无中断作业完成率接近百分之百[^1]。 - **易用性强**:界面友好直观的操作面板让即使是初学者也能迅速上手;同时提供了详尽的帮助文档及案例指导材料辅助深入理解产品特性。 ```python # 示例代码展示如何连接至AIStation API接口获取当前节点状态信息 import requests def get_node_status(api_url, token): headers = {"Authorization": f"Bearer {token}"} response = requests.get(f"{api_url}/nodes", headers=headers) if response.status_code == 200: return response.json() else: raise Exception("Failed to fetch node status") if __name__ == "__main__": api_endpoint = "https://aistation.example.com/api/v1" auth_token = "<your-authentication-token>" try: nodes_info = get_node_status(api_endpoint, auth_token) print(nodes_info) except Exception as e: print(e) ```
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值