![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 74
无
idiotyi
这个作者很懒,什么都没留下…
展开
-
【大模型】提示工程基础学习
即自动地为通过输出示例指定的任务生成指令:通过直接推理或基于语义相似性的递归过程生成几个候选指令,用目标模型执行它们,并根据计算出的评估分数选择最合适的指令。RAG 会接受输入并检索出一组相关/支撑的文档,并给出文档的来源(例如维基百科)。这些文档作为上下文和输入的原始提示词组合,送给文本生成器得到最终的输出。接下来是第二阶段的答案推断,它利用生成的理性信息。通过构建特定的提示语句,引导模型从已有的知识库中提取、整合并生成新的、有用的知识内容。手动添加的方式效果更好,但零样本的CoT更方便。原创 2024-07-09 11:27:52 · 369 阅读 · 0 评论 -
【大模型】Vllm基础学习
vllm是一个大语言模型高速推理框架,旨在提高大模型的服务效率。优势是内存管理,实现的核心是pageattetion算法。仅在gpu上加速,不在cpu加速。原创 2024-06-26 16:21:21 · 337 阅读 · 0 评论