gongdiwudu的专栏

对于技术磨练中，其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前，您将此文档复制给自己，做一个系统的模拟实战。

栏目《NLP入门到精通》本着从简到难得台阶式学习过度。将自然语言处理得知识贯穿过来。本栏目得前导栏目是《深度学习》、《pytorch实践》，因此，读者需要一定得深度学习基础，才能过度到此栏目内容。

文本摘要是一种自然语言处理技术，允许用户将大量文本总结为小块，而不会丢失任何重要信息。本文介绍NLP中使用Gensim和Sumy实现文本摘要的步骤。

在本系列文章的前几部分中，我们讨论了倒排文件索引、产品量化和 HNSW 以及如何将它们一起使用以提高搜索质量。在本章中，我们将研究一种主要不同的方法，该方法可以保持高搜索速度和质量

欢迎阅读有关变分自动编码器 (VAE) 的综合指南，这是机器学习和人工智能中一个令人着迷的领域，对数据生成和处理领域产生了重大影响。

Vision Transformer（或通常缩写为ViT）可以被视为计算机视觉领域的突破。当涉及到与视觉相关的任务时，它通常使用基于CNN的模型来解决，到目前为止，这些模型的性能总是比任何其他类型的神经网络都好。

这篇文章是我们的“完整 NLP 指南：文本到上下文”博客系列的第二部分。我们的重点非常明确：我们深入研究为 NLP 任务奠定基础所必需的关键数据预处理步骤。虽然 NLP 的进步使得能够开发能够感知和理解人类语言的应用程序，但仍然存在一个关键的先决条件——以机器可以理解的格式准备并向机器提供数据。这个过程涉及一系列多样化且重要的预处理步骤。

大型语言模型 （LLM） 的引入为人工智能 （AI） 和机器学习 （ML） 领域带来了重大的范式转变。凭借其显着的进步，LLM 现在可以生成不同主题的内容，解决复杂的查询，并大大提高用户满意度。然而，随着他们的进展，一个新的挑战浮出水面：幻觉。当 LLM 产生错误、无意义或脱节的文本时，就会发生这种现象。此类事件给利用这些模型的组织带来了潜在的风险和挑战。特别令人担忧的是涉及传播错误信息或制造攻击性材料的情况。

​在我之前的博客中，我们研究了关于生成式预训练转换器的整个概述，以及一篇关于生成式预训练转换器（GPT）的博客——预训练、微调和不同的用例应用。现在让我们看看所有仅解码器模型的解码策略是什么。​

在GPT的发展过程中，一篇论文起到至关重要的作用，就是《注意力就是你所需要的一切》，此文奠定了Transformer的概念框架，然后，Trandsformer和生成式框架结合，成为最初的GPT框架。本文再现对注意力机制的理解。

作为 Transformers 核心理念的一部分，使库易于、简单且灵活地使用，它会AutoClass从给定的检查点自动推断并加载正确的架构。

​在本系列文章的第一部分中，我们研究了用于执行相似性搜索的 kNN 和倒排文件索引结构。正如我们所了解的，kNN是最直接的方法，而倒置文件索引则在其之上起作用，这表明在速度加速和精度之间进行权衡。然而，这两种方法都不使用可能导致内存问题的数据压缩技术，尤其是在数据集较大且RAM有限的情况下。在本文中，我们将尝试通过查看另一种称为产品量化的方法来解决此问题。​

近五年来，随着 BERT 和 GPT 等思想的引入，我们在自然语言处理领域取得了巨大的成就。在本文中，我们的目标是逐步深入研究改进的细节，并了解它们带来的演变。

本文是“用变压器实现德-英语言翻译”系列的第二篇。它从头开始引入位置编码。然后，它解释了 PyTorch 如何实现位置编码。接下来是变压器实现。

​​​​​​​在LangChain的帮助下创建LLM应用程序可以帮助我们轻松地链接所有内容。LangChain 是一个创新的框架，它正在彻底改变我们开发由语言模型驱动的应用程序的方式。通过结合先进的原则，LangChain正在重新定义通过传统API可以实现的极限。

HEalthcare和生命科学行业产生大量数据，这些数据是由合规性和监管要求，记录保存，研究论文等驱动的。但随着数据量的增加，搜索用于研究目的的必要文件和文章以及数据结构成为一个更加复杂和耗时的过程。

在这篇博文中，我将讨论像BERT，BART和T5这样的大型语言模型。到2020年，LLM领域取得的主要进展包括这些模型的开发。BERT和T5由Google开发，BART由Meta开发。我将根据这些模型的发布日期依次介绍这些模型的详细信息。

​您是否对大型语言模型（LLM）的潜力感兴趣，并渴望创建您的第一个基于LLM的应用程序？或者，也许您是一位经验丰富的开发人员，希望简化工作流程？看看DemoGPT就是您的最佳选择。该工具旨在简化和自动化基于 LLM 的应用程序开发过程，是您开始旅程所需的一切。本博客将指导您了解LLM，DemoGPT的基本知识，以及如何开始使用您的第一个应用程序。​

在计算机视觉时代，卷积神经网络（CNN）几十年来一直是主导范式。直到 2021 年 Vision Transformers (ViTs) 出现，这个领域才开始发生变化。现在，是时候采用受 Transformer 架构启发的基于注意力的模型了，使我们能够有效地适应各种数据集变化。

word2vec 生成一个与语料库中每个单词关联的嵌入向量。这些嵌入的结构使得具有相似特征的单词彼此非常接近。CBOW（连续词袋）和skip-gram模型是与word2vec相关的两个主要架构。给定一个输入单词，skip-gram 将尝试预测输入上下文中的单词，而 CBOW 模型将采用各种单词并尝试预测缺失的单词。

​预先训练的通用语言表示模型有着如此悠久的历史，具有巨大的影响，我们理所当然地认为它们是所有NLP任务的完全100%必要基础。有两个独立的步进函数创新推动了所有NLP任务的准确性：（1）统计语言模型，如Word2Vec和GloVe，以及最近的（2）神经语言模型，如BERT，ELMo和最近的BLOOM。在建模工作流开始时插入预先训练的神经语言模型几乎可以保证提高性能，这种结果在大部分情况成立，但至少有一种情况不同。​

这是一篇少有的吐槽attention机制的文章，文中有许多独特见解，我们这里不论其观点正确与否，能坐下来，静静地倾听，细细地思考，进而启发我们对问题的理解和提高认知水平。

​在使用BERT（1）进行文本分类中，我向您展示了一个BERT如何标记文本的示例。在下面的文章中，让我们更深入地研究是否可以使用 BERT 来预测文本是使用 PyTorch 传达积极还是消极的情绪。首先，我们需要准备数据，以便使用 PyTorch 框架进行分析。​

在NLP的眼见的应用，就是在“当你在谷歌上提出一个问题并立即得到答案时会发生什么？例如，如果我们在谷歌搜索中询问谁是美国总统，我们会得到以下回答：Joe Biden；这是一个搜索问题，同时又是一个QA问答问题，本文将叙述，在Google的搜索引擎种，NLP库hume-face库的部署，可以作为应用参考。

​随着最近开发的库，执行深度学习分析变得更加容易。其中一个库是拥抱脸。Hugging Face是一个平台，可为 NLP 任务（如文本分类、情感分析等）提供预先训练的语言模型。​

BERT通过解决11 +最常见的NLP任务（并且比以前的模型更好）彻底改变了NLP空间，使其成为所有NLP交易的杰克。在本指南中，您将了解BERT是什么，为什么它不同，以及如何开始使用BERT

LangChain 是一个创新的框架，它正在彻底改变我们开发由语言模型驱动的应用程序的方式。通过结合先进的原则，LangChain正在重新定义通过传统API可以实现的极限。此外，LangChain应用程序是代理的，使语言模型能够轻松交互并适应其环境。

​在本文中，我们将参考原始的BERT论文，并查看BERT架构并了解其背后的核心机制。在第一节中，我们将对BERT进行高级概述。之后，我们将逐步深入了解其内部工作流程以及如何在整个模型中传递信息。最后，我们将学习如何微调BERT以解决NLP中的特定问题。​

在我们的日常生活中，无论你是否是数据科学家，你都在单向地使用变压器模型。例如。如果您使用的是 ChatGPT 或 GPT-4 或任何 GPT，那么在为您回答问题的框中是变压器的一部分。如果您是数据科学家或数据分析师，则可能正在使用转换器执行文本分类、令牌分类、问答、Text2text或任何与此相关的任务，您正在使用转换器模型。我们确实为我们的面试学习理论，每个人都这样做，但你有没有想过如何从头开始创建一个变压器模型。

NLP走势如何？这是关于在实践中使用大型语言模型（LLM）的系列文章中的一篇文章。在这里，我将介绍LLM，并介绍使用它们的3个级别。未来的文章将探讨LLM的实际方面，例如如何使用OpenAI的公共API，Hugging Face Transformers Python库，如何微调LLM，以及如何从头开始构建LLM。

变形金刚完全重建了自然语言处理（NLP）的格局。在变形金刚出现之前，由于循环神经网络（RNN），我们的翻译和语言分类很好——它们的语言理解能力有限，导致许多小错误，而且在大块文本上的连贯性几乎是不可能的。

这是一篇 长文 ，几乎讨论了人们需要了解的有关注意力机制的所有信息，包括自我注意、查询、键、值、多头注意力、屏蔽多头注意力和转换器，包括有关 BERT 和 GPT 的一些细节。因此，我将本文分为两部分。在本文中，我将介绍所有注意力块，在下一个故事中，我将深入探讨变压器网络架构。

在尝试自我监督学习时，主要有两种方法：对比学习（CL）和掩模图像建模（MIM）。然而，随着MIM最近受到关注，很多人使用MIM，但他们可能不知道为什么使用它以及何时应该使用它。本文利用ViT对这些点进行分析。本文表明，日益流行的 MIM 并不总是答案，并提供了何时使用以及使用哪种模型的指导。

注意力机制生成分数（通常使用输入函数），确定对每个数据部分的关注程度。这些分数用于创建输入的加权总和，该总和馈送到下一个网络层。这允许模型捕获数据中的上下文和关系，而传统的固定序列处理方法可能会遗漏这些上下文和关系。

​在我之前的文章中，我用拥抱面转换器介绍了预训练模型来计算句子之间的余弦相似性分数。在这篇文章中，我们将深入研究变压器模型的参数。句子转换器对象允许我们加载预先训练的模型，我们可以观察模型参数，例如最大序列长度和池化方法。但是这些参数意味着什么，我们如何修改它们以满足我们的需求？这篇文章解决了这些问题，并提供了对这些参数的更深入理解。

在上一篇文章中，我们详细介绍了变压器模型的编码器块的工作原理。如果您还没有读过那篇文章，我建议您在开始这篇文章之前先阅读它，因为本文中介绍了其中涵盖的概念。您可以前往：

Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。

文本摘要是为较长的文本文档生成简短、流畅且最重要的是准确摘要的过程。自动文本摘要背后的主要思想是能够从整个集合中找到最重要信息的一小部分，并以人类可读的格式呈现。随着在线文本数据的增长，自动文本摘要方法可能会非常有用，因为可以在短时间内阅读更多有用的信息。

早就想写一篇隐马尔可夫，以及维特比算法的文章；如今找了一篇，基本描述出隐马尔可夫的特点。

本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。