大模型面试必考问题系列
文章平均质量分 89
助力大模型算法工程师稳拿Offer~
TiSV工作室
你的AI学习小助手~
展开
-
大模型面试必考问题(二)
在推理阶段:主要通过解码参数T(温度),以及topK,topP来实现;而topK和topP是beam search的采样参数,topK是个数阈值,topP是概率阈值;以上参数都可能对结果多样性产生影响。从技术上来讲,幻觉的根本原因是传统的解码算法会在每个采样步骤引入均匀随机性。但业界一般将幻觉从效果上又分为三类:特定知识幻觉,逻辑关系幻觉,干扰幻觉。针对不同类型的幻觉问题,我们可以选择特定的方法。在训练阶段:具体的解码算法及其参数会影响多样性,比如beam search算法中beam大小的选择。原创 2023-11-05 23:36:56 · 553 阅读 · 0 评论 -
大模型面试必考问题(一)
两者都是LLM的微调方法,在实验效果上都优于传统的fine-tuning;p-tuning通过调整LLM的embedding层参数,形成隐式的prompt表达,以此来提升模型效果;而p-tuningV2为了解决p-tuning中可变参数过于靠前,在多层transformer计算后效果被稀释,因此,它借鉴prefix-tuning的思想,在所有的transformer层前面加入网络层,以便保持隐式的prompt能够一直传递到最后,在多数标准测试集上,p-tuningV2比p-tuning都取得了更好的效果。原创 2023-11-05 23:43:30 · 515 阅读 · 0 评论