魔搭社区之基础岛第4关

任务要求 :将 Streamlit+LlamaIndex+浦语API的 Space 部署到魔搭社区

步骤一:注册魔搭账号>登录>我的Notebook

ModelScope Notebook是一款云端机器学习开发IDE工具,为您提供交互式编程环境,适用于不同水平的AI开发者。 通过与阿里云PAI-DSW、弹性加速计算实例EAIS合作,Notebook为用户提供了开箱可用的限时免费算力额度,实现ModelScope模型开发环境与CPU/GPU等多样化计算资源的无缝连接。

注意:免费Notebook的使用,需要绑定阿里云账号授权,详细操作查看魔搭文档中心

步骤二:创建机器,这里我选择免费的CPU服务器,GPU免费时常有限,以后我用在刀刃上

我都是选的默认的,见上图。

步骤三:创建conda环境

Conda 是一个开源的软件包管理和环境管理系统,通过Conda可以创建和管理多个独立的开发环境,避免相互干扰。在Python等语言开发过程中,使用Conda来进行环境保存和隔离是常见的操作。

魔搭文档中心的Notebook用户操作指南有详细“配置和使用conda环境”介绍,在此不赘述。

注意:在安装后需要显式地调用conda init初始化:/mnt/workspace/miniconda3/bin/conda init

初始化成功以后,关闭当前的terminal窗口,再重新打开。就可以正常使用conda命令了。

后续关闭ModelScope Notebook实例后,后续每次打开ModelScope Notebook的时候,都需要重新执行一次如上的初始化命令。

步骤四:按照实战营坚定不移的走下来即可,详见书生大模型学习L1G4000-CSDN博客

注意:因为免费的机器嘛,网络速度和可靠性就不能要求太高,各种错误都有,基本都是机器反应没预想那么快,下载终端报错等等,笨办法——命令报错就重复执行直到成功。

### 如何部署魔搭模型到 Ollama 平台 #### 准备工作 为了成功将魔搭模型部署至 Ollama 平台,需先确认已安装并配置好必要的环境。对于 Windows 用户而言,在 WSL (Windows Subsystem for Linux) 中操作可以简化许多流程[^3]。 #### 获取魔搭模型 前往魔搭官方站点或其他可信资源处下载目标模型文件。确保所选模型兼容于 Ollama 所支持的框架版本。Ollama 官方库提供了多种预训练模型供选择,其中包括来自阿里云的通义千问等中文模型[^1]。 #### 转换模型格式 部分情况下,可能需要转换模型格式以适应 Ollama 的加载需求。这通常涉及到使用特定工具或脚本来调整权重文件结构以及元数据描述。具体步骤取决于源模型与目的平台之间的差异性。 #### 配置 Ollama 环境 按照官方文档指示完成 Ollama 的本地化设置过程。此阶段涉及创建虚拟环境、安装依赖包及初始化服务实例等工作。特别注意网络连接参数设定,以便后续能够顺利执行远程调用请求。 #### 加载自定义模型 通过命令行界面或者其他交互方式向 Ollama 发送指令来注册新导入的魔搭模型。一般形式如下所示: ```bash ollama load /path/to/model_directory/ ``` 上述路径应指向之前准备好的模型存储位置。一旦加载完毕即可开始测试其功能表现了。 #### 测试与验证 利用简单的 API 请求或者图形界面对话框来进行初步的功能检验。观察返回结果是否符合预期,并据此作出相应修改直至达到理想状态为止。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值