【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本,可以转换f32模型

1,项目地址

https://github.com/gotzmann/llama.go

项目最后的发布时间是2023年4月28日
项目是把 llama.cpp 的项目重写使用 golang 重写了下。

https://www.bilibili.com/video/BV1ru4m1c7NM/

【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本

已经完成的功能:

V0 路线图
使用纯Go实现张量数学
实现并加载LLaMA神经网络架构
使用较小的LLaMA-7B模型进行测试
确保Go推理的方式与C++完全相同
让Go发挥优势!启用多线程和消息传递以提高性能

V1 路线图 - 2023年春
跨平台兼容性:Mac、Linux和Windows
为机器学习发布第一个稳定版本 - v1.0
支持更大的LLaMA模型:13B、30B、65B - v1.1
在Apple(Mac电脑)和ARM服务器上支持ARM NEON - v1.2
为英特尔和AMD的x64 AVX2支持提供性能提升 - v1.2
更好的内存使用和垃圾回收优化 - v1.3
引入服务器模式(嵌入式REST API)以便在实际项目中使用 - v1.4
通过互联网免费提供转换后的模型 - v1.4

2,找到模型文件并使用llama-dl下载

经过研究,发现需要下载 llama 的模型&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值