移动端部署qwen2.5大模型

最新推荐文章于 2025-04-08 12:25:55 发布

IT修炼家

最新推荐文章于 2025-04-08 12:25:55 发布

阅读量8.3k

点赞数 27

分类专栏：大模型部署文章标签：移动端 ollama termux 大模型

本文链接：https://blog.csdn.net/qq_42755230/article/details/144551684

版权

大模型部署专栏收录该内容

18 篇文章

订阅专栏

在人工智能迅猛发展的今天，大语言模型（LLM）正逐步走向端侧设备，开启移动端智能应用的新篇章。 通义千问 Qwen2-0.5B 作为一款轻量化的开源大语言模型，以仅 5 亿参数 的规模，实现了出色的性能与效率平衡，为移动端部署提供了可能。然而，如何在资源受限的移动端（手机）上高效运行这一模型，依然面临着算力、内存、功耗等多重挑战。

一句话概括就是，突发奇想要在手机上部署大模型。
思路：移动端——安装linux——安装能在cpu上跑大模型的环境（ollama）——安装大模型——运行大模型

1、在手机上下载Termux

Termux 是一款运行在 Android 系统 上的终端仿真器和 Linux 环境应用。它结合了强大的 Linux 命令行工具 和 Android 平台的便捷性，让用户能够在手机上直接使用 apt 包管理器 安装和运行各种开发工具、编程语言（如 Python、Node.js、C++ 等）、服务器（如 SSH、HTTP 服务）以及其他 Linux 软件。Termux 不需要设备 root 权限，即可提供一个接近桌面 Linux 体验的环境，广泛应用于移动端开发、学习、脚本执行和系统管理，是开发者和极客探索 Android 平台的利器。

手机上Termux下载教程

（1）搜索Termux官网https://termux.com/，可以看到有两种下载方式：Github和F-Droid
请添加图片描述

（2）任选一种，我选择Github，可能需要科学上网

（3）选择 Releases （https://github.com/termux/termux-app/releases），点击最新的版本，我现在的版本是：v0.119.0-beta.1

（4）选择适合自己的版本下载安装，我安装的是：v0.119.0-beta.1 arm64-v8a版本
请添加图片描述

2、使用proot-distro安装个Linux系统

proot-distro 是 Termux 中的一个强大工具，它允许用户在无需 root 权限的 Android 设备上安装、管理和运行多种完整的 Linux 发行版，包括 Ubuntu、Debian、Arch Linux 等。

// 先来安装proot-distro
pkg install proot-distro

//使用proot-distro安装一个debian
proot-distro install debian

// 安装成功后通过login命令就直接进入debian，为发行版启动一个root shell
proot-distro login debian

3、安装ollama

//进入之后再来安装ollama
curl -fsSL https://ollama.com/install.sh | sh

// 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollama
ollama -v

// 查看ollama的详细信息
ollama

请添加图片描述

4、下载大模型并运行

// 后台开启ollama服务，缺少这个步骤会出现警告 Warning: could not connect to a running Ollama instance
nohup ollama serve &

//运行大模型（其他模型的命令如下图，可通过ollama list查看模型） ，没有模型会自动下载
ollama run qwen2.5:0.5b

请添加图片描述