![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型评估体系
文章平均质量分 94
大模型评估体系
Kakaxiii
这个作者很懒,什么都没留下…
展开
-
【2024】Math-Shepherd:无需人工注释即可逐步验证和强化法学硕士。
研究背景大语言模型在复杂的多步数学推理问题中面临挑战,验证方法可提高 LLMs 输出的准确性和一致性,其中过程奖励模型(PRM)能提供精确反馈,但训练数据获取成本高。相关工作改善和引发 LLMs 数学推理能力的方法包括预训练、微调、提示等。数学推理验证的两类模型为结果奖励模型(ORM)和过程奖励模型(PRM),PRM 优于 ORM,但依赖昂贵的人工标注数据集。结果奖励模型(ORM)定义:给定一个数学问题和其解决方案,ORM 会根据整个生成序列分配一个实数值来表明该解决方案是否正确。原创 2024-09-10 18:57:51 · 832 阅读 · 0 评论 -
【2024】Achilles-Bench:低资源评估的挑战性基准
该论文的主要内容是提出了一个具有挑战性的基准测试集 Achilles - Bench,用于低资源学习的评估。研究背景:随着强大模型的发展,对低资源基准测试的需求增加,但现有的低资源数据集存在一些问题,如难以捕捉数据偏差和现实场景中的难度,导致对模型学习能力的评估不准确。相关工作:介绍了低资源评估学习的相关研究,包括自然低资源数据集和采样低资源数据集,以及构建具有挑战性基准的方法。理解低资源学习的难度。原创 2024-09-10 11:02:55 · 630 阅读 · 0 评论 -
【2020】Clinical Concept Embeddings Learned from Massive Sources of MultimodalMedical Data
1. 研究背景词嵌入在自然语言处理中广泛应用,但医疗领域由于隐私等问题缺乏预训练资源。本工作旨在通过结合多模态医疗数据构建医学概念的嵌入。2. 相关算法概述word2vec:包括 CBOW 和 skip - gram 模型,后者通过构建目标词和上下文词的向量表示,使共现频繁的词在新空间中距离更近,其关键特征是能在大型语料库上高效训练,如通过负采样近似计算。GloVe:通过拟合加权对数线性模型到共现统计中产生词嵌入,最终的嵌入是单词和上下文向量之和,训练时最昂贵的步骤是构建术语 - 术语共现矩阵。原创 2024-09-07 18:03:41 · 980 阅读 · 0 评论 -
【2023】《A New Semantic Similarity Scheme for more Accurate Identification in Medical Data》
*剩余挑战和未来工作**: - 为了更准确地比较不同地区的医疗数据,需要拓宽昵称、缩写和同义词的存储库,以包括更多地理上多样化的单词和短语,但这可能会对性能产生负面影响,因为潜在匹配数量可能会大幅增加,特别是当提取的令牌集大小特别大时。综上所述,SSIM 算法的分层方法通过逐步考虑不同层次的因素,从具体的字符串片段匹配到使用昵称、缩写和初始的比较,再到字母分组特征的考虑,以及加权值的应用,来确定两个文本之间的相似性。为了获得文章中公布结果所使用的权重,是根据特定的数据集通过试验和错误进行调整的。原创 2024-09-04 23:02:51 · 905 阅读 · 0 评论 -
【2020.6.3】使用单词和图的嵌入来衡量统一医学语言系统概念之间的语义相关性
使用词或者图嵌入自动计算相似度的相关论文及思考原创 2024-09-01 18:25:05 · 1145 阅读 · 0 评论