安卓手机本地部署deepseek-r1 1.5B/7B 模型

一. 资源准备

需要下载pocketpal,这是一个LLM的对话框输出软件,在这里用来显示和加载deepseek模型,官网下的太慢了,这里下好放123网盘了。

GitHub - a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.

↑↑↑这是pocketpal的GitHub仓库↑↑↑

↓↓↓这是pocketal和deepseek-r1的模型文件↓↓↓

安卓资源包官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘

 

全部下载好后转到手机上

二. 开始使用 

安装pocketpal

运行之后找到“go to models”,然后单击加号,点击add local model

 

然后在弹出的文件管理器中找到刚刚下载好的模型,

(建议一般机型选1.5b的模型,新的旗舰机或16G运存以上的手机选7b的模型)

单击load运行,第一次运行需要等一下

作者的手机为snapdragon778G,8GB运存,实测1.5B的模型能跑到9.3tokens per second,内存占用2GB左右,还算可以,7b的模型还是算了,0.14tokens per second

三. 参数调整

 

左上角有三条杆,单击里面选择settings,内有非常多的设置项可以调,各位就自己去摸索一下吧

此外pocketpal还提供了很多模型去下载使用,如llama3等,但是下载极慢

### 关于 DeepSeek 模型本地部署方法和教程 #### 选择合适的参数量版本 对于希望在本地环境中部署 DeepSeek模型的开发者来说,可以选择不同参数规模的版本来适应不同的应用场景。其中,7B 和 8B 参数量版本因其相对适中的计算需求而成为较为常见的选项之一[^1]。 #### 安装依赖项与环境准备 为了顺利进行 DeepSeek 模型本地部署工作,在开始之前需确保操作系统已经安装好必要的软件包以及配置好了相应的运行环境。这通常涉及到 Python 解释器及其库文件、CUDA 及 cuDNN 驱动程序等组件的设置。具体步骤可参照官方文档或社区分享经验贴来进行操作[^3]。 #### 下载目标模型权重 通过 Ollama 提供的服务接口可以方便快捷地获取所需版本的预训练模型权重数据。以命令行方式为例,执行如下指令即可完成对指定大小(此处为7B/8B)DeepSeek-r1 的拉取动作: ```bash ollama pull deepseek-r1:7b ollama pull deepseek-r1:8b ``` 上述两条语句分别用于下载对应尺寸下的模型结构及相关参数信息至本地存储空间内待后续加载使用[^2]。 #### 加载并启动服务端口 当所有准备工作完成后,则可通过 API 调用来激活该大型语言处理单元,并监听特定网络地址上的请求连接。一般情况下会采用 Flask 或 FastAPI 这样的轻量化 web framework 来构建简易版 RESTful 接口服务器实例;当然也可以直接利用框架自带的功能模块简化流程设计过程。 ```python from fastapi import FastAPI, Request import uvicorn app = FastAPI() @app.post("/predict/") async def predict(request: Request): data = await request.json() # 假设这里有一个函数 load_model_and_predict() 实现了具体的推理逻辑 result = load_model_and_predict(data["input_text"], model_size="7b") return {"output": result} if __name__ == "__main__": uvicorn.run(app, host='0.0.0.0', port=8000) ``` 此段代码片段展示了如何基于 FastAPI 创建一个简单的 HTTP POST 请求处理器,它接收 JSON 格式的输入文本作为预测对象并通过调用 `load_model_and_predict()` 函数返回经过选定规模(如 "7b")的大规模预训练模型加工后的输出结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值