qq_35166730的博客

基础模型（Foundation Models）指的是通过自监督学习在大量未标记数据上训练的大规模AI模型，能够在各种各样的任务中表现出色。在基础模型的背景下,幻觉（Hallucination）是指模型生成的内容不是基于事实或准确信息的情况。当模型生成的文本包括虚构的、误导性的、或完全捏造的细节、事实或主张,而不是提供可靠和真实的信息时,就会发生幻觉。之所以会出现这个问题,是因为模型能够根据它从训练数据中学习到的模式生成听起来可信的文本,即使生成的内容与现实不符。

摘要：根据概率排名原则（PRP），按照文档的相关概率递减的顺序对文档进行排名，可以为临时检索提供最佳的文档排序。当满足两个条件时，PRP成立：[C1]模型已经很好地校准，并且[C2]报告了有把握的相关概率。但是，我们知道，深度神经网络（DNN）通常没有得到很好的校准，并且具有多种不确定性来源，因此神经排序器可能无法满足[C1]和[C2]。鉴于L2R方法的成功-尤其是基于BERT的方法-我们首先分析确定性的情况，即输出点估计，神经排序器被校准。然后，根据我们的发现，我们使用两种技术来建模神经排序器的不确定性，

定义图像动画是指通过将从源图像提取的外观与从驱动视频导出的运动模式相结合来自动合成视频的任务。研究现状传统的图像动画和视频重定位方法是针对特定领域设计的，如人脸、人体轮廓或手势，并且需要对动画对象有很强的先验知识。例如，在人脸动画中，Zollhofer等人的方法产生了逼真的结果，但在许多应用中，这样的模型是不可用的。目前，生成性对抗网络（GANs）和可变自动编码器（VAE）已被用于在视频中转换人类对象之间的面部表情或运动模式。然而，这些方法通常依赖于预训练模型来提取特定于对象的表示，例如关键点位置。而

问题：因为bert是在长文本（512token长度）预训练的，因此，如果没有特定于任务的微调，BERT在短语和句子上的表现通常比简单基线（如GLoVe的平均池化）更差。且字节2020在EMNLP上的On the Sentence Embeddings from Pre-trained Language Models一文证明了BERT 更加依赖词汇重叠来确定短语和句子的相似性。先前提出的解决方法：在预训练阶段预测跨度而不是单词（Joshi 等人，2019 年），在较短文本上微调 BERT（Reime

一、什么是排序学习？Wikipedia的对排序学习的定义如下：“Learning to rank is the application of machine learning, typically supervised, semi-supervised or reinforcement learning, in the construction of ranking models for information retrieval systems. Training data consists of l

全文均为笔者的理解，不权威也不一定准确，如有错误欢迎指正。NLP的核心问题，就是学习不同语境下的语义表示，所谓的语义表示呢，就是以量化的方式来表示一个单词，即我们今天要说的——词向量。词向量作为一种预训练模型在NLP领域应用非常广泛，词向量可以看作是用来表达词的语义。在这个领域，一个重要的挑战为一个单词在不同的上下文里有可能表示不一样的语义，该如何解决这个问题呢？那就是加入了上下文信息来区分同一...