安卓端侧大模型MLC-LLM部署全攻略：以InternLM2.5-1.8B为例

MLC-LLM 是一个机器学习编译器和高性能大型语言模型部署引擎。该项目的使命是让每个人都能在自己的平台上开发、优化和部署 AI 模型。

InternLM 2.5 是上海人工智能实验室发布的新一代大规模语言模型，相比于之前的版本，InternLM 2.5 支持百万长文，推理能力开源领先。

本文将带大家手把手使用 MLC-LLM 将 InternLM2.5-1.8B-Chat 部署到安卓手机上。

https://github.com/InternLM/InternLM

首先我们来看一下最终的效果～

1. 环境准备

1.1 安装 rust

可参考 https://forge.rust-lang.org/infra/other-installation-methods.html#which

此处使用了国内的镜像，如下列命令，当出现选项时选择 Enter 安装。

export RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-staticexport RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/rust-static/rustupcurl --proto '=h