【无标题】

最新推荐文章于 2024-07-17 21:40:42 发布
最新推荐文章于 2024-07-17 21:40:42 发布
阅读量807 收藏
点赞数
分类专栏： LLM 文章标签： 人工智能 nlp chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012925946/article/details/133606793
版权

LLM的各类评估

Llama2的评估指标

MMLU

2020年提出，衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准确性，模型必须具备广泛的世界知识和问题解决能力。

更类似于我们评估人类的方式。该基准涵盖了57个科目，包括STEM（科学、技术、工程、数学）、人文科学、社会科学等领域。它的难度从初级水平到高级专业水平不等，测试的内容既涵盖世界知识，又涉及问题解决能力。科目涵盖传统领域（如数学和历史）以及更专业的领域，如法律和伦理学。基准的细粒度和广度使其能够发现模型的盲点。

MMLU的leaderboard连接
随机base25% llama 7B top5 35% 65B 63%
GPT-4 86%

mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。
zero-shot \ finetuned shot

TriviaQA

TriviaQA是一个阅读理解数据集，其中包含超过 65W 个问题 - 答案 - 证据三元组。TriviaQA包括由爱好者撰写的95K个问题 - 答案对和独立收集的证据文件，平均每个问题6个证据，包括不限于wiki页面 网络搜索结果等，为回答问题提供高质量的远程监督（2017）

进击的煎饼果子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
山不过来，我就过去
10-22 2851
1 论文主要内容 本文是一篇资源论文，主要发布了用于检索式问答或阅读理解的数据集Trivia QA； 对该数据集的质量和数量进行了分析，并创建了baseline，用于具体评估数据集的质量。 2 Trivia QA数据集的特点 问题比较复杂 在问题和相应的答案句子中有大量的句法或词汇变化 需要更多的跨句推理来得到答案 3 本文的主要贡献 发布了一个阅读理解数据集 提出了分析量化数据集...
NLP领域的机器阅读理解方向的数据集总结
Thanours的博客
10-18 3391
一、cloze-style(完形填空样式) CNN / Daily Mail数据集 出自论文Hermann et al., 2015的《Teaching machines to read and comprehend.》 这是一个使用启发式方法从CNN和Daily Mail新闻文章中创建的完形填空样式的阅读理解数据集（英文）。Close-style表示必须推断出一个缺失的单词。在本例中，“问题...
大语言模型数据集（二）
babyzbb636的博客
10-19 1176
该数据集用于训练和评估用于检测机器释义文本的模型。训练集包含从 8,024 篇维基百科（英文）文章（4,012 篇原文，4,012 篇使用 SpinBot API 释义）中提取的 200,767 段（98,282 篇原文，102,485 篇释义）。测试集分为 3 个子集：一个来自 arXiv 研究论文的预印本，一个来自毕业论文，另一个来自 Wikipedia 文章。此外，还使用了不同的 Marchine-paraphrasing 方法。
ACL2022 用于开放域问答的复制增强生成模型 A Copy-Augmented Generative Model for Open-Domain QuestionAnswering
gbchen的博客
06-12 848
ACL2022 用于开放域问答的复制增强生成模型 A Copy-Augmented Generative Model for Open-Domain QuestionAnswering
triviaqa, TriviaQA阅读理解数据集的代码.zip
10-09
triviaqa, TriviaQA阅读理解数据集的代码 TriviaQA: 一种大规模远程监督的阅读理解数据集这里 repo 包含纸张 Mandar Joshi，Eunsol wu，Daniel Weld，Luke Zettlemoyer的代码。 ：一种大规模远程监督挑战数据集，适用于计
Qt无标题窗口
05-21
在本文中，我们将深入探讨如何使用Qt框架创建一个无标题窗口，这在界面设计和自定义标题栏美化中非常有用。我们将关注`framelesswidget.cpp`、`main.cpp`、`framelesswidget.h`等核心文件，理解它们在实现无标题窗口...
VC去掉'无标题'字样的方法.zip
11-21
在使用Visual C++进行编程时，我们经常会在创建新的窗口或者对话框时默认看到标题栏显示为“无标题”。这可能会对用户界面的美观性和专业性造成一定的影响。本资料包提供了一种方法来帮助开发者去掉这个“无标题”...
visual c++取掉对话框窗口的 -无标题 字样的方法
08-04
在Visual C++编程环境中，创建窗口应用程序时，默认情况下，窗口标题栏可能会显示“-无标题”字样，这通常是由于没有正确设置窗口类或没有自定义窗口标题所导致的。要解决这个问题，我们需要深入理解Windows API中的...
c#实现无标题栏窗口的拖动
09-05
本篇文章将详细讲解如何在C#中实现这种无标题栏窗口的拖动以及其他基本操作。 首先，为了实现无标题栏窗口的拖动，我们需要处理窗体的鼠标事件。窗体的`FormBorderStyle`属性应设置为`None`，这会去除窗体的边框和...
Android 全屏无标题栏的三种实现方法
09-02
在Android应用开发中，有时我们需要实现全屏无标题栏的效果，以提供更加沉浸式的用户体验。以下将详细介绍三种在Android中实现全屏无标题栏的方法。 ### 方法一：通过Java代码 在Activity的`onCreate()`方法中，在...
OpenTriviaQA, 一个创造性的问答数据集和答案.zip
09-18
OpenTriviaQA, 一个创造性的问答数据集和答案 OpenTriviaQA一个创作知识集。多项选择问题和答案的。网址：https://github.com/uberspot/OpenTriviaQA我在几年前搜索过，找不到任何公共的可用琐事集，所以有些人收集和划分了一些粗略的分类，
大模型理论基础初步学习笔记——第二章 大模型的能力
panda_dbdx的博客
01-16 505
大模型理论初步学习笔记，github https://github.com/panda-like-bamboo/Study-CS324
论文浅尝 | 融入知识的弱监督预训练语言模型
开放知识图谱
02-21 860
论文笔记整理：叶群，浙江大学计算机学院，知识图谱、NLP方向。 会议：ICLR 2020链接：https://arxiv.org/pdf/1912.09637.pdf Abstra...
问答数据集（自用，持更）
热门推荐
weixin_44125942的博客
12-01 1万+
1、Quora 问题对数据集： 判断两个问题是不是同一个意思（通用） 综述： https://blog.csdn.net/studyvcmfc/article/details/107941583?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242.2 2、医药问答数据集： https://gitee.com/wan
Longformer论文解读和代码解析
菜比的博客
10-15 3412
前言 这篇博文记录了longformer论文的主要思想、代码实现和结果复现方面的一些工作，相关链接如下： 原longformer论文地址 github上原作者公开的代码 huggingface上原作者编辑的longformer模块 原论文解读 其实transformer-xl已经突破了transformer对处理文本长度的限制，那longformer的意义是什么呢？原作者的解释是这样的： transformer-xl处理长文本时按从左到右的方式自回归处理，这样每一个segment只能看到其所在的segme
【QANet】译文
chocologic的博客
08-15 2193
QANET : COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPRE-HENSION   摘要 当前的端到端机器读取和问答（Q＆A）模型，是主要基于具有注意力(Attention)的递归神经网络（RNN）。尽管取得了成功，但由于RNN的顺序性的性质，这些模型通常对于训练和推理都很慢。我们提出了一个名...
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
最新发布
wwt72的博客
07-17 687
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
卷积神经网络学习问题总结
weixin_61681867的博客
07-17 430
均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值