DeepSeek R1 Android本地化部署

1.概述

android手机端部署deepseek一般需要安装termux,ollama,deepseek三个大的步骤

原因分析:deepseek等大模型需要类似ollama的工具去运行。ollama有mac window和linux版本,无Android版本;termux是一个模拟linux环境的Android app,在此环境中即可安装运行ollama linux版本,然后再ollama上面部署运行deepseek大模型。

2.安装 Termux

2.1.下载termux

一、github 仓库下载:

        下载页面:Releases · termux/termux-app 

         下载地址:termux-app_v0.119.0-beta.1+apt-android-7-github-debug_universal.apk

二、百度搜索 termux,国内的软件平台也可下载

2.2.安装termux

下载后,使用adb命令安装: adb install termux-app_vxxx.apk 

2.3.配置termux

一、更新相关配置和包:

pkg pdate && pkg upgrade

二、安装ollama运行相关包:

 pkg install git cmake golang

三、配置ssh (非必须)

原因:手机上面操作命令行界面不方便,配置ssh后,电脑端可以通过ssh连接到termux进行操作

按如下表格内的命令顺序执行:

命令输出
1.安装sshpkg install openssh
1.启动sshsshd
2.查看ipifconfigip地址,如192.168.1.122
3.查看端口默认8022
4.设置密码passwdnew passwd:

配置后,电脑端使用ssh工具,如MobaXterm连接termux更方便操作。

3.安装 ollama

3.1.下载ollama

3.1.1 命令方式

方式一下载并安装:该命令包含下载、编译和安装ollama

curl -fsSL https://ollama.com/install.sh | sh

方式二下载安装包:

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz

3.1.2 手动方式

        由于网络原因,命令行方式可能无法下载,此时可以在电脑端电脑使用迅雷下载。

一、下载连接:https://ollama.com/download/ollama-linux-arm64.tgz

二、拷贝方式一:ssh:

       如果前面电脑已经通过ssh连接到了termux,那么可以通过ssh将下载的tgz安装包拷贝到termux内指定的目录

三、拷贝方式二:adb:

       1.使termux能访问手机存储:

termux-setup-storage

       2.将安装包tgz通过adb 拷贝到手机storage目录中,termux内可直接访问到该压缩包文件

3.2.安装 ollama

备注:如果使用3.1.1 命令方式一下载的,无需此步骤

一、创建一个ollama目录

二、解压安装包到ollama目录:

tar -C ollama/ -xzf ollama-linux-arm64.tgz

ps: 如果是通过adb方式拷贝的,那么解压命令中后面的包目录可能是:storage/ollama-linux-arm64.tgz 

三、安装:

cd ollama/bin/ ;   

pkg install ollama;

4.下载和运行 deepseek 

1.启动服务:

ollama serve &

2.加载启动大模型:

ollama run deepseek:r1-1.5b

如果本地没有此大模型,那么会先去下载,然后启动。

ps:下载大模型,有时候会出现前面速度很快,后面速度慢慢就慢下来了,此时可以ctrl+c 中断,然后重新执行上面的命令,会继续接着下载,速度也会恢复很多。

5.彩蛋

如果是小白,也可使用如下更简单的方法:

1.下载安装PocketPal AI APP:

https://github.com/a-ghorbani/pocketpal-ai/releases/download/v1.6.7/app-release.apk

2.下载deepseek r1  gguf格式模型 ,比如1.5b

https://cdn-lfs-cn-1.modelscope.cn/prod/lfs-objects/af/3a/3fc64d7d0b18f15f28feabad5718d620dc5626a5c1eabad33ddc2b5d09a9?filename=DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf&namespace=unsloth&repository=DeepSeek-R1-Distill-Qwen-1.5B-GGUF&revision=master&auth_key=1741052656-9f2668c715d44290b9ae481bd6e52630-0-e01a70e59ed10930132cf05d0c1758da

3.启动PocketPal AI APP,在Models页面,点击右下角 + 号,再点击 “Add Local Model” ,在弹出的页面选择刚刚下载的xxx.gguf模型文件。Models列表里面就有选择的deepseek模型了,点击此列表项的load即可加载运行模型,发起会话。

### DeepSeek Android 本地部署教程 对于希望在Android设备上实现DeepSeek的本地部署,目前官方提供了iOS和Android手机版APP的支持[^2]。然而,具体的本地部署通常涉及更复杂的设置过程,尤其是在移动操作系统环境中。 #### 准备工作 为了准备Android上的本地部署,建议先确认设备满足最低硬件需求,并安装必要的开发工具链。由于官方文档未具体提及Android本地部署细节,可以考虑通过Docker容器化解决方案来简化环境配置[^3]。 #### 下载并安装所需文件 考虑到直接在Android上运行可能遇到的技术挑战,推荐的方法是从支持断网使用的版本入手,例如`DeepSeek R1`本地部署包。此版本允许用户下载完整的模型权重以及依赖库到本地存储空间,从而减少对外部网络连接的需求。 #### 设置运行环境 针对Android平台特性优化的应用程序打包方式,可以通过Termux这样的终端模拟器应用创建类Linux环境来进行后续操作。利用Termux中的Python或其他脚本语言解释器加载预训练好的DeepSeek模型实例[^1]。 ```bash pkg install python pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu ``` 上述命令用于安装PyTorch框架及其相关组件,这是许多机器学习项目的基础之一,包括但不限于DeepSeek系列模型。 #### 启动服务 完成前期准备工作之后,下一步就是启动Web UI界面以便于交互式访问。如果选择了适合移动端架构优化过的轻量化版本,则可以直接调用内置API接口开启HTTP服务器监听端口。 ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/api/deepseek', methods=['POST']) def predict(): data = request.json['data'] result = model.predict(data) # 假设model已经提前初始化好 return jsonify({'prediction': str(result)}) if __name__ == '__main__': app.run(host='0.0.0.0') ``` 这段简单的Flask应用程序代码片段展示了如何构建RESTful API以供外部调用预测函数。请注意实际应用场景下还需要处理更多异常情况及安全性考量。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值