1,项目地址
https://github.com/gotzmann/llama.go
项目最后的发布时间是2023年4月28日
项目是把 llama.cpp 的项目重写使用 golang 重写了下。
https://www.bilibili.com/video/BV1ru4m1c7NM/
【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本
已经完成的功能:
V0 路线图
使用纯Go实现张量数学
实现并加载LLaMA神经网络架构
使用较小的LLaMA-7B模型进行测试
确保Go推理的方式与C++完全相同
让Go发挥优势!启用多线程和消息传递以提高性能
V1 路线图 - 2023年春
跨平台兼容性:Mac、Linux和Windows
为机器学习发布第一个稳定版本 - v1.0
支持更大的LLaMA模型:13B、30B、65B - v1.1
在Apple(Mac电脑)和ARM服务器上支持ARM NEON - v1.2
为英特尔和AMD的x64 AVX2支持提供性能提升 - v1.2
更好的内存使用和垃圾回收优化 - v1.3
引入服务器模式(嵌入式REST API)以便在实际项目中使用 - v1.4
通过互联网免费提供转换后的模型 - v1.4
2,找到模型文件并使用llama-dl下载
经过研究,发现需要下载 llama 的模型&#x