sikh_0529的博客

文本摘要是将一段长文本缩减为一段简短的内容要点的过程。它可以帮助人们快速地了解一篇文章或一段文字的主要内容，节省时间和精力。文本摘要通常分为两种类型：提取式摘要和生成式摘要。提取式摘要使用文本中已有的句子或段落来生成摘要。这种方法通常涉及到对文本进行语言处理和关键词提取，然后从中选择最重要或最相关的内容。生成式摘要则是从头开始生成一段新的摘要内容，而不是仅仅从原文中提取已有的句子或段落。这种方法通常涉及到使用机器学习算法或深度学习模型对文本进行理解和总结，然后根据这些理解和总结来生成新的内容。

文本摘要是一种 NLP 过程，它专注于减少给定输入的文本量，同时保留关键信息和上下文含义。考虑到手动摘要所需的时间和资源，使用 NLP 的自动摘要已经在许多不同的用例中针对许多不同的文档长度进行了增长也就不足为奇了。摘要空间发展迅速，新的重点是处理超大文本输入以总结成几行。对新闻文章和研究论文等较长文档的摘要需求的增加推动了该领域的增长。

在本文中，我列出了当今最常用的 NLP 库，并对它们进行了简要说明。它们在不同的用例中各有优缺点，因此它们都可以作为专门从事 NLP 的优秀数据科学家的丰富知识。每个库的描述都是从它们的GitHub存储库中提取的。顶级 NLP 库这是顶级库的列表，按 GitHub 星数排序。57.1k GitHub 星数。Transformers 提供了数以千计的预训练模型来执行不同模态的任务，例如文本、视觉和音频。

医疗知识图谱是一种揭示医学实体之间关系的语义网络，可以用于支持医疗领域的智能应用，例如问答、诊断、推荐等。医疗知识图谱构建中Schema定义是指对医学领域内的概念类型、属性和关系进行抽象和规范，形成一个领域本体，用于指导知识图谱的数据获取、存储和查询。Schema定义是知识图谱构建的重要步骤，需要综合考虑业务场景、数据资源、术语标准化和概念通用性等因素。医疗知识图谱问答系统Schema定义是指在构建医疗知识图谱的基础上，设计一种用于表示和查询医疗领域问题和答案的数据结构。

Seq2Seq技术，全称Sequence to Sequence，该技术突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型（DNNs）运用于在翻译，文本自动摘要和机器人自动问答以及一些回归预测任务上,并被证实在英语－法语翻译、英语－德语翻译以及人机短问快答的应用中有着不俗的表现。

基于训练和预测测试结果，我们的模型可以准确识别医疗文档中的病原体类型、药物和健康状况。例如，该模型可以将大肠杆菌识别为病原体，将脑膜炎和胃痛识别为健康状况，将阿奇霉素识别为药物（抗生素）。我们将讨论使用自定义 NER 进行医疗保健的所有细节，希望在我们的讨论结束时，您将很好地理解它是如何工作的以及如何在您的项目中使用它。创建一个新的基础配置后，我们在基础配置的基础上创建一个新的。现在，我们可以使用 spaCy 模型来训练我们的数据集。最后，我们可以尝试我们的模型来预测新文档。为 spaCy 模型创建配置。

NLP语料库

您将学习如何微调 BERT 以进行情感分析。您将进行所需的文本预处理（特殊标记、填充和注意掩码），并使用 Hugging Face 令人惊叹的 Transformers 库构建情感分类器！

了解如何为多标签文本分类（标记）准备带有恶意评论的数据集。我们将使用 PyTorch Lightning 微调 BERT 并评估模型。多标签文本分类（或标记文本）是您在执行 NLP 时会遇到的最常见任务之一。现代基于 Transformer 的模型（如 BERT）利用对大量文本数据的预训练，可以更快地进行微调，使用更少的资源并且在较小的（更）数据集上更准确。我们的模型对有害文本检测有用吗？数据我们的数据集包含潜在的攻击性（有毒）评论，来自。我们有文字（评论）和六种不同的毒性标签。

Word2Vec 本质上也是一个神经语言模型，但是它的目标并不是语言模型本身，而是词向量；因此，其所作的一系列优化，都是为了更快更好的得到词向量。，因为 FastText 使用了字符级的 N-gram 向量作为额外的特征，使其能够对。如果根据经验公式，是不需要这么大的，比如 200W 词表的词向量维度只需要。虽然 SG 模型用中心词做特征，上下文词做类标，但实际上两者的地位是等价的。只要未登录词能被已知的 n-grams 组合，就能得到该词的词向量。，以词表中词作为叶子节点，各词的出现频率作为权重——共。

在本章中，我们不是使用数值的时间序列，而是将 RNN 应用于自然语言文本（英语）。有两种简单的方法可以做到这一点。我们可以将文本视为字符序列或单词序列。在本章中，我们将它视为一个字符序列，因为这是最简单的入门方法。在许多情况下，使用单词比使用字符更强大，在接下来的几章中将对此进行探讨。除了使用文本而不是数值之外，我们还演示了如何将模型与可变输入长度一起使用，以及如何预测多个时间步长，而不仅仅是紧跟在输入数据之后的一个步骤。

请注意，这样的比较只是为了说明默认情况下的效果，并不一定是公平的。从pip安装的用户在使用细领域分词功能时，只需要设置model_name字段为对应的领域即可，会自动下载对应的细领域模型。从github下载的用户则需要自己下载对应的预训练模型，并设置model_name字段为预训练模型路径。GitHub的代码并不包括预训练模型，因此需要用户自行下载或训练模型，预训练模型可详见。: 使用领域自适应方法得到的优化后的通用模型，相较于默认模型规模更大，但泛化性能更好。: 混合数据集训练的通用模型。

Word2Vec是Google在2013年开源的一款将词表征为实数值向量的高效工具，采用的模型有CBOW(Continuous Bag-Of-Words，即连续的词袋模型)和Skip-Gram 两种。Word2Vec通过训练，可以把对文本内容的处理简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。因此，Word2Vec 输出的词向量可以被用来做很多NLP相关的工作，比如聚类、找同义词、词性分析等等。

与卷积序列到序列模型类似，转换器不使用任何递归。它也不使用任何卷积层。相反，该模型完全由线性层，注意机制和归一化组成。截至2020年1月，Transformer是NLP中的主要架构，用于为许多任务实现最先进的结果，并且似乎在不久的将来会出现。最受欢迎的Transformer变体是BERT（BEncoderRTransformers）和预训练版本的BERT通常用于替换NLP模型中的嵌入层 - 如果不是更多的话。处理预训练Transformer时使用的常用库是库，请参阅here。

让我们提醒自己一般的编码器-解码器模型。我们在嵌入的源序列（黄色）上使用编码器（绿色）来创建上下文向量（红色）。然后，我们将该上下文向量与解码器（蓝色）和线性层（紫色）一起使用，以生成目标句子。在之前的模型中，我们使用多层 LSTM 作为编码器和解码器。先前模型的一个缺点是解码器试图将大量信息塞入隐藏状态。在解码时，隐藏状态需要包含有关整个源序列的信息，以及到目前为止已解码的所有token。通过减轻一些信息压缩，我们可以创建一个更好的模型！

此模型与这些教程中使用的先前模型截然不同。根本没有使用经常性成分。相反，它使用卷积层，通常用于图像处理。有关用于情绪分析的文本卷积层的简介，请参阅此教程。简而言之，卷积层使用滤波器。这些滤镜具有宽度（在图像中也有高度，但通常没有文本）。如果筛选器的宽度为 3，则它可以看到 3 个连续的标记。每个卷积层都有许多这样的过滤器（本教程中有 1024 个）。每个过滤器将在整个序列中滑动，从开始到结束，一次查看所有3个连续令牌。这个想法是，这1024个过滤器中的每一个都将学习从文本中提取不同的特征。

在本笔记本中，我们将对上一个笔记本中的模型添加一些改进 - 填充序列和遮罩。打包的填充序列用于告诉我们的 RNN 跳过编码器中的填充令牌。掩码会显式强制模型忽略某些值，例如对填充元素的注意力。这两种技术都常用于 NLP。我们还将研究如何使用我们的模型进行推理，通过给它一个句子，看看它翻译它是什么，看看它在翻译每个单词时究竟在哪里注意。最后，我们将使用BLEU指标来衡量翻译质量。

提醒一下，以下是通用编码器-解码器模型：在之前的模型中，我们的架构是通过在每个时间步长将上下文向量显式传递给解码器并通过传递上下文向量和嵌入式输入词d(y(t))来减少“信息压缩”的。，以及隐藏状态，st，到线性层f， 进行预测。即使我们已经减少了一些压缩，我们的上下文向量仍然需要包含有关源句子的所有信息。本笔记本中实现的模型通过允许解码器在每个解码步骤中查看整个源句子（通过其隐藏状态）来避免这种压缩！它是如何做到这一点的？它使用注意力。注意力的工作原理是首先计算一个注意力向量a，即源句子的长度。

让我们提醒自己一般的编码器-解码器模型。我们在嵌入的源序列（黄色）上使用编码器（绿色）来创建上下文向量（红色）。然后，我们将该上下文向量与解码器（蓝色）和线性层（紫色）一起使用，以生成目标句子。在之前的模型中，我们使用多层 LSTM 作为编码器和解码器。先前模型的一个缺点是解码器试图将大量信息塞入隐藏状态。在解码时，隐藏状态需要包含有关整个源序列的信息，以及到目前为止已解码的所有token。通过减轻一些信息压缩，我们可以创建一个更好的模型！

最常见的序列到序列 （seq2seq） 模型是编码器-解码器模型，它们通常使用递归神经网络 （RNN） 将源（输入）句子编码为单个向量。在本笔记本中，我们将此单个向量称为上下文向量。我们可以将上下文向量视为整个输入句子的抽象表示。然后，该向量由第二个RNN解码，该RNN通过一次生成一个单词来学习输出目标（输出）句子。上图显示了一个示例翻译。输入/源句子“guten morgen”通过嵌入层（黄色），然后输入到编码器（绿色）。

本章涵盖时间序列可以是通过定期测量获得的任何数据，例如股票的每日价格、城市每小时的用电量或商店的每周销售额。时间序列无处不在，无论我们是在研究自然现象（如地震活动、河流中鱼类种群的演变或某个地点的天气）还是人类活动模式（如网站的访问者、国家的 GDP 或信贷）卡交易）。与您迄今为止遇到的数据类型不同，使用时间序列需要了解系统的动态——它的周期性周期、它如何随时间变化、它的规律状态和它的突然峰值。到目前为止，最常见的与时间序列相关的任务是预测：预测什么将在一系列的下一个发生。提前几个小时预测用电量，以便预测需

但是，在某些任务中（例如预测句子中的下一个单词），我们不需要考虑输入句子的整体，只需要考虑与我们试图做出的预测相关的部分。在我们的数据集中只出现一次或两次的任何单词都不太可能具有巨大的预测能力，因此将它们从我们的语料库中删除并在我们的最终模型中用空白标记替换它们可以减少我们的模型训练和减少过度拟合所需的时间，而无需对我们模型的预测产生很大的负面影响。我们已经定义了训练和评估函数，所以最后一步是编写一个函数，该函数实际上将我们的输入作为文本，将其传递给我们的模型，并从模型中获得响应。方法作为我们的第一步。

在前两章中，我们使用神经网络对文本进行分类并进行情感分析。这两项任务都涉及获取 NLP 输入并预测一些值。在我们的情感分析中，这是一个介于 0 和 1 之间的数字，代表我们句子的情感。在我们的句子分类模型中，我们的输出是一个多类预测，其中我们的句子属于几个类别。但是，如果我们不仅希望进行单个预测，而且还希望预测整个句子，该怎么办？在本章中，我们将构建一个序列到序列模型，该模型以一种语言的句子作为输入，并输出该句子在另一种语言中的翻译。我们已经探索了用于 NLP 学习的几种类型的神经网络架构，即。

在上一章中，我们展示了如何使用 RNN 为文本提供情感分类。然而，RNN 并不是唯一可用于 NLP 分类任务的神经网络架构。卷积神经网络( CNN ) 是另一种这样的架构。RNN 依赖于顺序建模，保持一个隐藏状态，然后逐字逐句逐句遍历文本，在每次迭代时更新状态。CNN 不依赖于语言的顺序元素，而是尝试通过单独感知句子中的每个单词并学习其与句子中围绕它的单词的关系来从文本中学习。虽然出于此处提到的原因，CNN 更常用于对图像进行分类，但它们已被证明在文本分类方面也很有效。虽然我们确实将文本视为一个序列，但我们

虽然 RNN 允许我们使用单词序列作为模型的输入，但它们远非完美。循环神经网络有两个主要缺陷，可以通过使用更复杂的 RNN 版本（称为LSTM）来部分弥补。RNN 的基本结构意味着它们很难长期保留信息。考虑一个 20 字长的句子。从影响初始隐藏状态的句子中的第一个词到句子中的最后一个词，我们的隐藏状态更新了 20 次。从句子的开头到最终的隐藏状态，RNN 很难保留句子开头单词的信息。这意味着 RNN 不太擅长捕捉序列中的长期依赖关系。

最终，与计算中的许多问题一样，这是一个权衡速度与细节的问题。能够将 10 个单词的句子减少到由多个核心引理组成的五个单词，而不是相似单词的多个变体，这意味着我们需要通过神经网络提供的数据要少得多。如果我们使用词袋表示，我们的语料库将明显更小，因为多个单词都减少到相同的词条，而如果我们计算嵌入表示，则捕获我们单词的真实表示所需的维数会更小减少语料库。为了返回任何给定句子的正确词形还原，我们必须首先执行 POS 标记以获取句子中单词的上下文，然后将其传递给 lemmatizer 以获得句子中每个单词的词元。

在深度学习中有许多不同的方式来表示文本。虽然我们已经介绍了基本() 表示，但不出所料，还有一种更复杂的表示文本数据的方法，称为嵌入。虽然 BoW 向量仅用作句子中单词的计数，但嵌入有助于以数字方式定义某些单词的实际含义。在本章中，我们将探索文本嵌入并学习如何使用连续的 BoW 模型创建嵌入。然后我们将继续讨论 n-gram 以及如何在模型中使用它们。我们还将介绍标记、分块和标记化可用于将 NLP 拆分为其各个组成部分的各种方法。

是一个基于 Python 的机器学习库。它包含两个主要功能：通过硬件加速（使用 GPU）高效执行张量操作的能力以及构建深度神经网络的能力。PyTorch 还使用动态计算图而不是静态图，这使其与 TensorFlow 等类似库区分开来。通过演示如何使用张量表示语言以及如何使用神经网络从 NLP 中学习，我们将证明这两个特征对于自然语言处理特别有用。在本章中，我们将向您展示如何在您的计算机上启动和运行 PyTorch，并演示它的一些关键功能。

因为我们希望我们的模型能够对以前从未见过的数据做出良好的预测，所以我们可以在测试损失最小化的点停止训练我们的模型。在过去的几十年里，我们相互交流的方式已经转移到数字领域，因此，这些数据可以用来构建模型，从而改善我们的在线体验。权重在一起可以让我们学习更复杂的参数，最终，我们的最终预测仍然是权重和特征的线性乘积的组合。如果我们希望我们的神经网络学习一个真正复杂的非线性函数，那么我们必须在我们的模型中引入一个非线性元素。在本章中，我们介绍了机器学习和神经网络的基础知识，以及在这些模型中使用文本转换的简要概述。

尽管 GPT-3 是世界上最复杂和最复杂的语言模型，但它的功能被抽象为最终用户的简单“文本输入、文本输出”界面。本章将帮助你开始使用 Playground 接口，并介绍 OpenAI API 的技术细微差别，因为细节总是能揭示真正的瑰宝。要完成本章，您需要注册一个OpenAI 帐户位于。如果您还没有这样做，请现在就这样做。在 OpenAI Playground 中导航您的OpenAI 开发者帐户提供对 API 的访问和无限可能。

您无需从头开始构建模型来解决您的问题，而是使用针对更一般问题进行训练的模型作为起点，并使用特别策划的数据集在您选择的领域对其进行更具体的训练。它的数据集和模型都比用于 GPT-2 的数据大两个数量级：GPT-3 有 1750 亿个参数，并且在混合了五个不同的文本语料库上进行了训练，这比用于训练 GPT 的数据集大得多-2。该实验的结果是一个具有新的非凡能力的模型，以 GPT-3 的形式出现。对于我们的示例，我们会说编码器是以法语为母语的人，而解码器是以英语为母语的人。GPT 只是变压器的解码器部分。

为了稍微简化任务，我们将只专注于为 Python 编程语言构建代码生成模型。4我们首先需要一个包含 Python 源代码的大型预训练语料库。幸运的是，有一个每个软件工程师都知道的自然资源：GitHub！著名的代码共享网站拥有 数 TB的代码存储库，这些存储库可以公开访问，并且可以根据各自的许可进行下载和使用。在本书写作之时，GitHub 拥有超过 2000 万个代码库。其中许多是用户创建的小型或测试存储库，用于学习、未来的辅助项目或测试目的。可以通过两种主要方式访问 GitHub 存储库：通过。

有一个问题在每个数据科学家的脑海中根深蒂固，以至于他们通常在新项目开始时问的第一件事是：是否有任何标记数据？通常情况下，答案是“不”或“一点点”，然后客户期望您团队的精美机器学习模型仍应表现良好。由于在非常小的数据集上训练模型通常不会产生好的结果，一个明显的解决方案是注释更多的数据。但是，这需要时间并且可能非常昂贵，特别是如果每​​个注释都需要领域专业知识来 验证。幸运的是，有几种方法非常适合处理很少或没有标签的情况！您可能已经熟悉其中的一些，例如零样本或少样本学习。

当() 成熟时，一切都将是机器对机器的连接、通信和决策。人工智能将主要嵌入现成的即用即付云人工智能解决方案中。大型科技公司将吸收最有才华的人工智能专家来创建 API、接口和集成工具。人工智能专家将从开发到设计，再到成为架构师、集成商和云人工智能管道管理员。因此，人工智能正在成为工程师顾问而不是工程师开发人员的工作。第 1 章，什么是Transformers？，引入了基础模型，可以执行未受过训练的 NLP 任务的转换器。第 15 章，从 NLP 到与任务无关的转换器模型。

到目前为止，我们已经检查了具有编码器和解码器层的原始 Transformer 模型的变体，并且我们探索了具有仅编码器或仅解码器层堆栈的其他模型。此外，层和参数的大小也增加了。然而，Transformer 的基本架构保留了其具有相同层的原始结构和注意力头计算的并行化。在本章中，我们将探索创新的 Transformer 模型，这些模型尊重原始 Transformer 的基本结构，但会做出一些重大改变。将出现许多变形金刚模型，就像一盒乐高©碎片提供的许多可能性一样。您可以通过数百种方式组装这些部件！

数百万到十亿参数的变压器模型似乎是没有人能解释的巨大黑匣子。结果，许多开发人员和用户在处理这些令人兴奋的模型时有时会感到气馁。然而，最近的研究已经开始使用创新的尖端工具来解决这个问题。描述所有可解释的 AI 方法和算法超出了本书的范围。因此，本章将专注于为 Transformer 模型开发人员和用户提供洞察力的即用型可视化界面。本章首先BertViz由Jesse Vig安装和运行。Jesse 在构建可视化界面方面做得非常出色，该界面显示了 BERT 转换器模型的注意力头中的活动。

我们的目标当然不是​​评判任何人或任何事。假新闻涉及观点和事实。新闻往往取决于当地文化对事实的看法。我们将提供想法和工具来帮助其他人收集有关某个主题的更多信息，并在我们每天收到的信息丛林中找到自己的方式。

Transformers 的灵活性允许我们在同一个模型上尝试许多不同的任务，或者在许多不同的模型上尝试相同的任务。我们会发现，无论我们尝试哪种模型，如果没有得到足够的训练，它都将无法工作。情感分析的理论难度需要大量的 Transformer 模型训练、强大的机器和人力资源。除了对 BERT 模型进行其他调整外，还对教师的最后一个自我注意层进行了优化，以获得更好的性能。我们将测试几个模型。以无事可做的用户身份运行 NLP 任务显示了工业 4.0 (I4.0) 的发展方向：更少的人工干预和更多的自动化功能。

阅读理解需要很多技巧。当我们阅读文本时，我们会注意到关键词和主要事件，并创建内容的心理表征。然后，我们可以使用我们对内容和表示的知识来回答问题。我们还检查每个问题以避免陷阱和犯错误。无论他们变得多么强大，变形金刚都不能轻易回答开放性问题。开放的环境意味着有人可以就任何主题提出任何问题，而变形金刚会正确回答。正如我们将在本章中看到的那样，这很困难，但在某种程度上使用 GPT-3 是可能的。然而，Transformer 经常在封闭的问答环境中使用通用领域训练数据集。

Transformers 在过去几年里取得的进步比上一代 NLP 还要多。标准 NLU 方法首先学习句法和词汇特征来解释句子的结构。在运行语义角色标签( SRL )之前，将训练以前的 NLP 模型理解语言的基本语法。Shi和Lin（2019）在他们的论文开始时询问是否可以跳过初步的句法和词汇训练。基于 BERT 的模型可以在不经过那些经典训练阶段的情况下执行 SRL 吗？答案是肯定的！Shi和Lin (2019) 建议 SRL 可以被视为序列标记并提供标准化的输入格式。他们基于 BERT 的模型产生了令人惊