- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 【开荒日志】基于huggingface transformers的falcon-mamba-7b-instruct本地部署踩坑记录
tiiuae最近发布了mamba版本的falcon-7b模型,mamba是去年发布的一种新的模型架构,这种架构不使用自注意力机制,转而使用空间向量框架。其特点之一,在于超长的prompt输入,而且不需要占用很多的显存。挺吸引人,值得一试。
2024-08-24 23:14:57 928
原创 【开荒日志】xinference + 本地glm4-9b-chat部署
本人仅仅大模型爱好者一枚,非专业人士,对这一块的开发范式不太熟悉,因此每次部署和调试都像是在开荒,会遇到各式各样的问题。在此记录一下,仅供参考。本来没想过使用xinference, 不过发布了3.0版本,使用方式和之前有所不同,得按文档示例重新跑一遍,文档示例用了xinference作为例子,所以就开始使用xinference了。的官方文档还算可以。
2024-06-22 18:30:01 5168 16
原创 【学习笔记】debian11挂载硬盘
原因:空间不够用了,买了2T的移动硬盘,切分成两个部分。很久之前挂载了第一部分,没有处理第二部分,现在第一部分也快用满了,准备挂载第二部分。
2024-05-25 01:04:48 411
eeprom_header_converter.zip
2020-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人