![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ai
文章平均质量分 65
quqi99
OpenStack Contributor, Focus on Network.
展开
-
try langchain (by quqi99)
想学习一个langchain, 所以先运行一下langchain的例子,但发现openai调用API改为收费的了。看来只能本地搭建LLM, 半年前也试过在家里的NUC上运行过LLAMA2,但速度比较慢。现在据说Gemma也开源了,试了一下它速度挺快的。原创 2024-03-18 14:27:07 · 601 阅读 · 0 评论 -
Try llama2 in NUC (by quqi99)
但是在上面转换成f16模式的时候报了一个python的错误,像是这个bug (https://github.com/huggingface/transformers/issues/20011 ), 但解决不了。于是,接着转向使用xinference框架在本地试,成功了,就是在nuc上(i7-13700H)速度挺慢的.版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明。原创 2023-09-06 17:51:08 · 760 阅读 · 0 评论