如何使用算想云？

已于 2023-11-14 17:47:17 修改
阅读量133 收藏
点赞数
文章标签： 人工智能
于 2023-11-14 17:43:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxwl66/article/details/134404347
版权

算想云（llm.sxwl.ai）正式上线倒计时：1 天

算想云（llm.sxwl.ai）：Serverless 大模型训练云服务；以低于公有云 60% 的价格运行容器化的大模型训练任务，让更多团队用得上大模型。

算想云将在北京时间 2023-11-13 10:00 正式上线，注册用户将免费获得 5 分钟 A100 GPU 时长（来自算想未来独家算力合作伙伴），同时我们将从注册用户中抽出一位幸运儿，赠送终身可用的 ¥10000/月算想云大模型算力券。详情关注算想未来公众号！

注册

  • 打开算想云控制台 https://llm.sxwl.ai，选择“注册”

    图片

  • 选择“算力用户注册”并填写注册相关信息，点击“注册”完成用户注册

    图片

登陆

  • 打开算想云登录页面 https://llm.sxwl.ai/login，输入注册邮箱和密码，点击“登陆”

  • 登陆成功后，自动进入“任务提交”页面

    图片

提交训练任务

任务提交页面是算力用户提交训练任务的入口，通过提交训练任务，用户可以直接使用算想云提供的算力进行任务训练，不用操心基础设施以及基础服务的搭建；

提交训练任务需提供以下信息：

  • “CKPT 路径”：训练过程中产生的数据存放路径，对应用户训练程序中设置的路径

  • “模型保存路径”：训练完成后的模型保存路径，对应用户训练程序中设置的保存路径

  • “容量”：CKPT 路径及模型保存路径将挂载对应的 PV ，容量是需要申请的 PV 大小，根据训练预估数据量大小填写

  • “GPU”：训练所需的 gpu 资源数量以及类型

  • “容器镜像”：用户需要将训练程序、训练数据以及所需环境打包成镜像，并将镜像上传到公网可访问的镜像仓库，镜像打包过程可参考附录一

  • “任务类型”：目前支持的任务类型为MPI

  • “终止条件”：可选择自然终止或手动设定运行时长，在设置运行时长到期后如任务未完成，该训练任务将被终止

    图片

任务详情

  • 训练任务提交后自动进入任务详情页面，此时任务进入“运行”状态，点击详情可查看该任务的运行详情（待上线）

    图片

  • 任务运行完成后，可以看到“操作”中出现“下载模型”操作，点击“下载模型”弹出模型文件列表，点击链接可进行模型下载

    图片

    图片

构建能够运行在算想云上的训练镜像构建

图片

  • 以编写一个用来训练 Bert 的最基本的 Dockerfile 作为示例：

  • FROM 引入了一个基础环境镜像，里边包含 bert 训练所需的运行环境

  • RUN 中将训练所需的数据放到了 dataset 目录下，将数据一起打包到镜像里

  • CMD 中指定了镜像拉起后执行的训练程序，并指定了训练数据所在的目录，以及CKPT所在的路径

算力源用户

上面提到的是，大模型算力用户向算想云提交训练任务的过程；本章节介绍如何将智算集群接入到算想云算力网络，来运行大模型训练任务。

名词解释

  • 算想云: llm.sxwl.ai，Serverless（无服务器）大模型训练云服务

  • 算力源用户：指拥有 GPU 裸金属服务器的用户（包括服务器、网络设备等等）

  • CPod：指算力源用户将闲置算力服务器部署成的一个集群，如果用户在多个 DC 拥有闲置算力，可部署多个 CPod 加入算想云

  • accessKey：指算力源用户注册后生成的访问密钥，该密钥在部署 CPod 时会用到，并在 CPod 注册到算想云时作为用户标识

注：一个用户对应一个 accessKey，对应多个 CPod

注册、登录

在算想云上，拥有闲置算力的用户可以选择在注册成为算力源用户，将闲置算力加入算想云，以 Serverless（无服务器）云服务的方式将算力共享出来给大模型训练用户，从而让闲置算力价值变现，实现算力源、算力用户的双赢。

  • 打开 https://llm.sxwl.ai ，选择注册

    图片

  • 选择“算力源注册”并填写注册相关信息，点击“注册”完成用户注册

    图片

  • 已注册的用户登录系统，可以看到算力源用户指南，根据指南可以在闲置算力上部署CPod

    图片

  • 在“算力源用户”页面中可以看到当前用户的注册信息以及“accessKey ”，复制 accessKey 备用，用于下面安装三千平台，并接入算想云的操作。⚠️ Access Key 是访问算想云服务的唯一身份标识，务必妥善保管   

图片

查看算力源详情

  • 此时算力源详情页面将显示 CPod 上报的算力源信息

图片

    

关于转发薅羊毛

11-10 开始连续 3 天发出每日 PR，并在 11-13 日正式发出上线公告，总共 4 篇公众号文章，薅算想未来（sxwl.ai）羊毛活动规则简介如下：

  • 总阅读量超过 1 万，从转发所有 4 篇文章的网友中选出一位，参加 NVIDIA GTC 3 日游！

  • 超过 10 万，从转发所有 4 篇文章的网友中选出一位，获赠定制大提琴一架！

  • 超过 100 万，从转发所有 4 篇文章的网友中选出一位，成为算想未来数字幽灵！

详情请查看本公众号文章“薅算想未来（sxwl.ai）羊毛”

阅读原文：https://docs.sxwl.ai/

nascentcore.ai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【上线公告】算想云：大模型算力价格比公有云低 60%
sxwl66的博客
11-14 80
算想未来是国产 GPU 厂商天然的战略盟友，算想未来与国产 GPU 厂商一起，作为独立的智算云服务提供者，构建中立的智算云服务，让企业用户能获得安全、私密的 AI 算力云服务，通过大模型及 AI 挖掘自有数据的商业价值！在技术上，如下图所示，算想未来锚定算力云服务，聚焦于云原生智算平台技术，以大模型算力云服务为起点，为中小企业提供最具性价比的 AI 算力。全体系厂商：代表为 NVIDIA、以及正在崛起中的华为，这类厂商有完整的智算产品生态：智算芯片设计、智算基础软件、智算云服务；
PHP云打印类完整示例
01-20
一个项目需求要几百台电脑都有打印功能，本来是想用网络打印机的，后来发现没有网络打印机，就自己动手写一个打印类算了。 类实现想法是：先把要打印的数据都收集起来，在用js调用window打印函数。目前就使用于IE。 ...
微信小程序使用云开发
weixin_43819028的博客
05-13 3192
这是我第二次记录CSDN，也算是今日工作之余的打发一下时间。内容上相比上次我觉得稍微好那么一丢丢吧。很多地方也需要放图片的我都没有放(那个做毕设的同学自己的云开发账号，我给他做完后我就没有开发者权限了，所以很多地方我没法截图。真实情况就是我云开发都是被禁用状态。很多图都没有，只能依靠文字描述，希望各位能够看得懂最后，如果觉得有哪里需要改善 or 哪里说错的地方可以在评论区 or 私信留言，我看到后也会及时调整！
阿里云认证有用吗？
NilEcho2333的博客
09-07 1655
生活中，很多人出于对未来的发展，开始考取社会各种证书，以应对未来的不确定，也有很多人对未来很迷茫，听别人说哪种证书有用，有前途，就一股脑的投入进去，但事实上，有些证书哪怕考过了其实对自己的帮助其实很小，当下社会，阿里云认证证书对于计算机大数据方面的人才来说有很高的含金量，是对计算机和大数据开发人才的一种认可,那就有一些人要问了，阿里云认证有用吗？下面听认证大使给你分析分析。 阿里云认证有用吗 什么是阿里云认证？ 阿里云云计算专业认证（ACP级-Alibaba Cloud Certified Profe
超越实体机？深度评测揭示ToDesk云电脑、无影云、青椒云真实性能
热门推荐
05-28 2万+
如果你不玩游戏，只想有一个可以远程办公的云电脑，那么可以选择无影云，毕竟不需要那么好的配置，选择价格最优惠的。由于无影云的配置偏低所以不做对比，主要对比青椒云和ToDesk云电脑，除了内存ToDesk云有所不足，其他各方面都是遥遥领先于青椒云，并且总分也是高出青椒云16万分，硬件配置上的差距还是显而易见的。处理器：处理器是一个电脑的核心，如果你需要运行大型应用、进行复杂的计算任务或者运行多个程序，建议选择性能较高的多核处理器，对于一般的办公、网页浏览和轻量级应用，较低性能的处理器也能满足需求。
教你如何免费使用云服务器
DGWY161744的博客
11-12 1万+
深度学习没有GPU?!! 教你如何白嫖服务器一、声明二、引言二、如何获取三、操作步骤3.1 文件传输软件的安装3.3 远程操控软件的安装四、资料软件分享五、总结 教你如何白嫖服务器) 一、声明 本文章没有广告用意，只是觉得好用分享给大家。同时做个简单的记录。 二、引言 因为电脑只有CPU，算力不够，以及很多深度学习教程以及模型都是在GPU环境下进行，所以一直想着怎么样才能白嫖到服务器，毕竟云服务器不便宜，要是经常用的话，对学生党来说是一笔不小的支出。有一天经过群友推荐终于找到了一个可以免费试用200元的云服
藏经阁-PAI 阿里云人工智能产品家族.pdf
09-09
阿里云PAI是阿里巴巴推出的一站式人工智能平台，旨在降低AI技术的应用门槛，...想要了解更多关于阿里云PAI的信息，可以通过扫描提供的二维码加入钉钉群，或者访问指定的阿里云直播间获取新品发布会的资料和视频回放。
超级计算机如何上云.doc
05-18
然而，这类应用往往对算力需求巨大，传统方式下，企业可能需要投入大量资金购买和维护硬件。面对这种情况，一种名为“超级计算即服务”或“高性能计算即服务”的新模式应运而生，允许企业在云端租赁超级计算能力，...
NeteaseMusicAbroad：在macOSLinux上取消对NeteaseCloudMusic的区域限制。网易云音乐macOSLinux解除歌曲锁区限制
03-04
此工具最傻瓜，绿色 :grinning_face_with_sweat:不同OS下的类似工具的评论区经常出现“买个会员不就好了”等评论，注意：甚至会员，该锁区也一样锁区，会员只是可以听网易版权歌曲想了想还是算了，不说了感谢提供的...
会计电算化（中华会计网校）课件.rar
07-04
总的来说，"会计电算化（中华会计网校）课件.rar" 提供的资源将全面覆盖会计电算化的理论知识和实践技能，对于想要提升会计专业技能的人来说，这是一个非常宝贵的资源库。通过深入学习和实践，学员可以有效地提升...
2024钉钉杯A题思路详解
全栈川川
07-26 1822
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1676
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
昇思25天学习打卡营第1天|快速入门
07-28 431
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 758
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
07-25 1314
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
安卓手机部署大模型实战
奇舞周刊
07-25 1048
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
带并行卷积的水下图像背景前景分割方法
最新发布
renhongxia1的博客
07-30 360
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
MOE模式：或将是最好的大模型应用开发路径
AI相关从业分享
07-28 477
MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。传统模型中的MOEGate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。
【Python数据增强】图像数据集扩充
阿齐Archie
07-25 2130
该脚本用于图像数据增强，特别是目标检测任务中的图像和标签数据增强。通过应用一系列数据增强技术（如旋转、平移、裁剪、加噪声、改变亮度、cutout、翻转等），生成多样化的图像数据集，以提高目标检测模型的鲁棒性和准确性。
项目如何部署到阿里云？
06-07
在阿里云上部署 ChitGPT 可以采用以下步骤： 1. 选择一台云服务器，并且安装好 PyTorch 和 Flask。 2. 将 ChitGPT 代码上传到云服务器上，可以使用 FTP 工具或者 Git 等方式。 3. 安装 gunicorn 工具，使用以下命令安装： ``` pip install gunicorn ``` 4. 使用 gunicorn 启动 Flask 应用，在终端中执行以下命令： ``` gunicorn -w 4 -b 0.0.0.0:5000 app:app ``` 这里的 `-w` 参数表示启动 4 个 worker 进程， `-b` 参数表示绑定 IP 和端口， `app:app` 表示启动 Flask 应用。 5. 在阿里云的安全组中，开放 5000 端口，允许外部访问。 6. 使用 Nginx 进行反向代理，配置 Nginx 的 `server` 部分，例如： ``` server { listen 80; server_name your_domain.com; location / { proxy_pass http://127.0.0.1:5000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } ``` 这里的 `your_domain.com` 表示你的域名， `http://127.0.0.1:5000` 表示反向代理到本地的 5000 端口。 7. 重启 Nginx 服务，完成部署。 当然，在实际部署过程中，可能还需要进行一些优化和配置，例如使用 HTTPS 协议、启用 WSGI 等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值