Yanc_L-CSDN博客

原创【bug解决】chatglm3推理 ValueError: too many values to unpack (expected 2)

chatglm3推理报错：too many values to unpack (expected 2)原因是transformers版本过高，修改为transformers==4.41.2。

2024-07-14 21:07:45 53

原创【论文阅读】Seven Failure Points When Engineering a Retrieval Augmented Generation System

论文从软件工程的角度，通过对3个case study的研究，总结出rag的7个故障点。

2024-07-13 12:08:24 621 2

原创【论文阅读】RAFT: Adapting Language Model to Domain Specific RAG

这篇论文主要是研究如何提升RAG中pre-trained LLM在垂域知识中的开卷考试的能力，提出了一种名为“RAFT”的训练范式。RAG的一个挑战在于，检索内容中同时包含golden document（正确的文档）和distractor documents（相关但非正确的混淆文档）时，大模型可能会从distractor document中抽取出错误回答。RAFT通过构造COT类型的QA对数据集来微调模型，从而提升大模型的推理能力。

2024-07-02 21:25:27 307 1

原创【bug解决】vllm部署qwen

首次尝试vllm部署qwen遇到的一些问题。

2024-06-23 23:41:49 171

原创【bug解决】AutoDL上streamlit部署LLM，Network URL无法访问

通过本地访问Network URL，长时间无响应后请求失败。且无法从本地ping通该ip。尝试了github上诸多方法均无效后，怀疑是服务器无独立公网IP导致。2、启动streamlit服务时，设置端口为127.0.0.1，端口为6006。执行streamlit run xx.py后的得到Network URL,3、打开链接成功请求到streamlit服务，开始愉快地对话吧～1、打开自定义服务，根据对应操作系统进行配置。通过查看AutoDL官方文档，

2024-06-20 00:15:04 209