T-MAC在Windows(64)上的部署推理

文章目录

目录

文章目录

前言

一、安装环境和依赖

1.安装Conda + Visual studio

2.安装Clang-17.0.6

二、构建T-MAC

1.引入库

2.进入项目目录并创建环境

3.构建tvm

4.安装T-MAC

5.验证安装 

三、使用T-MAC推理

总结

---

前言

T-MAC是微软研究院提出的一种创新方法，通过查表法（LUT）在CPU上实现低比特LLM（即权重量化LLM）的高效推理

本文是初学者根据官方文档和网络资料调通T-MAC的过程以及遇到的问题

T-MAC github地址:GitHub - microsoft/T-MAC: Low-bit LLM inference on CPU with lookup table

---

一、安装环境和依赖

1.安装Conda + Visual studio

根据官方文档，在Windows上安装依赖推荐使用conda+visual studio的方式。

Anaconda下载地址：Download Anaconda Distribution | Anaconda

安装Visual Studio时注意选择使用C++的桌面开发，不要启用“适用于 Windows 的 C++ Clang 工具”，因为 Clang 版本可能不兼容。

因为我们要使用自定义的LLVM 工具集版本，因此需要在单个组件中搜索clang并将"对 LLVM (clang-cl) 工具集的 MSBuild 支持"选中

然后进行安装即可

2.安装Clang-17.0.6

下载地址:Download LLVM releases

在LLVM官网的下载页面找到17.0.6版本并进行下载

安装时注意选择将路径添加至所有用户的系统环境变量之中

安装后在高级系统设置