
LLM
文章平均质量分 97
爱在一瞬间
这个作者很懒,什么都没留下…
展开
-
mosec部署chatglm2-6B
公司内部要搭建chatglm2-6b聊天助手,领导希望我们研究一下,如何部署,主要是要在能够稳定服务公司内部的同时,节省GPU。今天来看看我们找到的Mosec库,在dynamic batching方面的优势,以及踩过的坑。有路过的大神,还请多指导。原创 2023-08-04 08:33:39 · 813 阅读 · 7 评论 -
langchain-chatglm上传word文档异常处理
最近LLM模型非常火,Langchain这个工具更有意思,让应用开发更加简单。于是就想着部署一下langchain-chatglm,体验一下大模型挂载知识库的畅快。部署过程耗时长,主要是环境安装,但总体还是很顺利的。但是一个word文档上传无法加载的问题耗费了好长时间处理。原创 2023-06-20 09:04:35 · 4700 阅读 · 12 评论