sikh_0529的博客

•机器阅读理解MRC) 类似于人类的阅读理解任务，其中通过回答相关问题来评估模型理解文章的能力。•MRC 可以应用于需要自动处理大量文本数据并理解语义的场景。•自然语言处理有许多与 MRC 密切相关的子领域，例如信息检索和问答系统。•深度学习是人工智能领域最热门的研究方向之一。它极大地提高了模型在许多领域的准确性。当前的大多数 MRC 模型都基于深度学习。•在 MRC 中，答案类型包括多项选择、抽取式、自由式和完形填空测试。•单段落多段落和语料库。•。

到目前为止，我们已经了解了如何使用包含预训练模型的huggingface API 来创建简单的应用程序。如果您可以从头开始并仅使用您自己的数据来训练您自己的模型，那不是很棒吗？如果您没有大量空闲时间或计算资源可供使用，那么使用迁移学习 是最有效的策略。与在训练模型时从头开始相比，使用 Hugging Face 的迁移学习有两个主要优点。正如我们在第4章中所述，像GPT3 这样的模型需要大量的基础设施资源来训练。这超出了我们大多数人的能力。

Gradio 是一个专门为部署和推理机器学习模型而构建的Web 框架。Gradio 使我们能够通过 Web 界面快速公开我们的 ML 模型，而无需学习太多编码。通过收购 Gradio，Hugging Face 向前迈进了一步，为 huggingface 社区提供了一个简单的界面，可以在 huggingface 模型上部署和提供 UI。

如果您对 2018 年以来机器学习和人工智能领域取得的进步略有了解，您几乎肯定已经意识到自然语言处理 领域取得的巨大进步（也称为自然语言处理）。这一领域的大部分进展可归功于大型语言模型 ，也称为 LLM。这些 LLM 背后的架构是转换器的编码器-解码器，我们在第2章中讨论过。Transformer 的成功来自架构并行处理输入数据的能力，以及通过注意力机制更好地理解上下文。我们已经在前面的章节中提到了 Vaswani 的“Attention Is All You Need”论文。

在本章中，您将学习由 Google 开发的 Transformer 架构的实现之一，称为 BERT。Google AI Language 的研究人员最近所做的工作导致发表了一篇名为“BERT（来自变形金刚的双向编码器表示）”的论文。BERT取得的最重要的技术进步是将流行的注意力模型Transformer的双向训练 应用于语言建模。根据语言模型的研究结果，与仅在一个方向上训练的模型相比，同时在两个方向上训练的语言模型能够更好地了解语言的流动和上下文。

Seq2Seq 模型是以一系列对象 （例如单词、字母或时间序列）开始并生成另一个项目序列作为其输出的模型。当涉及到神经机器翻译时，我们需要提供特定语言的输入句子，而输出应该是另一种语言的翻译文本。如图2-1所示，基于 Seq2Seq 架构的神经网络以单词learn作为输入，输出单词的法语翻译。图 2-1Seq2Seq网络的功能编码器 和解码器 是构成模型的两个组件，如图2-2所示。输入序列的上下文由编码器以向量的形式保存，然后将其传输给解码器，以便解码器可以根据它包含的信息构造输出序列。

使人不同于地球上其他动物物种的最大发展之一是语言的进化。这使我们能够交流和交流想法和思想，从而导致包括互联网在内的许多科学发现。这就是语言的重要性。因此，当我们涉足人工智能领域 时，除非我们确保机器能够理解和理解自然语言，否则在那里取得的进展不会有太大进展。因此，对于任何想涉足人工智能领域，进而涉足通用人工智能领域的人来说，他们都应该很好地掌握我们在教机器如何理解语言方面取得的进展。