MLC LLM 模型部署至Android 虚拟环境配制

modelweights：模型权重

model lib：模型库

chat config：推理配置

hat.reload模型加载

创建虚拟环境

conda create -n mlcllm python==3.10

添加国内镜像源 

show_channel_urls: true
channels:
  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/
  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/
  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/cloud/conda-forge/
  - defaults

Windows 用户无法直接创建名为 .condarc 的文件，需要先执行如下命令，生成该文件后再修改 

conda config --set show_channel_urls yes

 进行环境创建

激活环境

conda方式 

conda activate mlcllm

 

cmd方式

activate mlcllm

 

pycharm方式

 

可以直接选择切换

如命令不能进入

则配制终端

activate mlcllm

完成准备工作 下载源代码

GitHub - mlc-ai/mlc-llm: Universal LLM Deployment Engine with ML Compilationhttps://github.com/mlc-ai/mlc-llm 

这里使克隆方式

# 克隆源代码及源代码附属的子项目
git clone https://github.com/mlc-ai/mlc-llm.git --recursive
# 进入mlc-llm文件夹
cd mlc-llm
# 将mlc-llm安装进环境
pip install .

 克隆完成

进入文件夹

cd mlc-llm

将mlc-llm安装进环境

pip install .

 有坑了

下载压缩包直接替换

加载子项目  直到运行后没有返回为止

git submodule update --init --recursive

再次按装 

pip install .