gongdiwudu的专栏

以下是本文重要观点的摘要。阅读它以获取更多详细信息/获取原始源链接。很多 AI 人都想构建像 GPT 4 这样的大型 AI 模型。让我们来谈谈一些技术，这些技术可以让您在不崩溃的情况下扩展您的模型。这些技术将使您能够扩展 AI 模型，在不显着增加成本的情况下提高系统的表达能力

这是我们谈论LLM系列的第二篇文章。在本文中，我们旨在为大型语言模型 （LLM） 的运行方式提供易于理解的解释。

由于其多功能性，神经网络是大多数现代机器学习管道的主要内容。他们处理非结构化数据的能力是一种祝福，因为它让我们能够部分地——部分地——在这里发挥重要作用——用计算规模（更便宜、更容易获得）取代领域洞察力（昂贵且难以获得）。

语言模型，尤其是大型语言模型 （LLM），凭借其理解和生成类人语言的能力，彻底改变了人工智能领域。这些模型不仅能够在零样本设置下或通过定制提示执行各种任务，而且它们的灵活性和多样性也使它们在多个领域中非常有用。

​这是一篇大咖的论文阅读，是Apple 首席工程师Manny Ko分享的精彩论文。这篇文章很大程度上是许多有趣的对话和来回的综合。对于LLM之所以引进复数嵌入，以及如何嵌入有清晰全面的理解，堪称里程碑式的作品。

在快速发展的云计算环境中，高效管理和配置基础设施的能力比以往任何时候都更加重要。HashiCorp 的 Terraform 已成为该领域的游戏规则改变者，它提供了一种基于声明式代码的基础设施管理方法，也称为“基础设施即代码”（IaC）。通过将基础架构编入版本控制配置，Terraform 使开发人员和运营团队能够以无与伦比的精度自动化、重用和管理基础架构。

在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor

人工智能最新阶段的关键发现之一是能够基于相似性搜索来搜索和查找文档。相似性搜索是一种根据信息的含义而不是通过关键字来比较信息的方法。

我们将使用 PyTorch 从头开始构建生成式 AI、大型语言模型——包括嵌入、位置编码、多头自注意、残差连接、层归一化，Baby GPT 是一个探索性项目，旨在逐步构建类似 GPT 的语言模型。在这个项目中，我不会太详细地解释理论，而是主要展示编码部分。该项目从一个简单的 Bigram 模型开始，并逐渐融入了 Transformer 模型架构的高级概念。

​本文是我系列文章的第四篇，涵盖了我在 2023 年 3 月为 WomenWhoCode 数据科学跟踪活动提供的会议。早期的文章在这里：第 1 部分（涵盖 NLP 简介）、第 2 部分（涵盖 NLTK 和 SpaCy 库）、第 3 部分（涵盖文本预处理技术）

LLM的推理过程缺乏透明度，使用户难以理解结论是如何得出的。为了应对这些挑战，已经开发了一种称为检索增强生成（RAG）的技术。RAG 向 LLM 的工作流添加了一个检索步骤，使其能够在响应查询时从其他来源（如您的私人文本文档）查询相关数据。

2016 年由 Facebook 的 AI Research （FAIR） 团队推出的 FastText 已迅速成为自然语言处理 （NLP） 领域的基石。这种创新的词嵌入和文本分类方法以其效率和有效性而著称，特别是对于具有丰富形态特征的语言以及需要在粒度级别上理解句法和语义细微差别的场景。本文深入探讨了 FastText 的起源、技术基础、优势、应用和局限性，全面概述了它对 NLP 的影响。

拼写检查器项目涉及创建一个可以自动检测并纠正给定文本中的拼写错误的程序。此类项目在各种应用程序中非常有用，例如文字处理器、电子邮件客户端和网络浏览器，可确保用户生成的文本没有拼写错误。

Deep Lake 是专门用于深度学习用例的数据湖（数据库），其中原始数据包括图像、视频、音频和其他非结构化数据。然后，原始数据被具体化为深度学习本机传感存储格式，并通过网络流式传输到模型训练。

除了 Transformers 笔记本之外，还有一些示例脚本演示如何使用 PyTorch、TensorFlow 或 JAX/Flax 为任务训练模型。

使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。

在数据集上训练模型之前，需要将其预处理为预期的模型输入格式。无论您的数据是文本、图像还是音频，都需要将它们转换并组装成批量张量。🤗 Transformers 提供了一组预处理类来帮助为模型准备数据

PrivateGPT、 llama.cpp和 GPT4All等项目的流行 强调了在本地（在您自己的设备上）运行 LLM 的需求。   这至少有两个重要的好处：   Privacy：您的数据不会发送给第三方，并且不受商业服务的服务条款的约束   Cost：没有推理费用，这对于代币密集型应用程序很重要（例如，长时间运行的模拟、摘要）

这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。

接下来，我们将看到有关如何使用 HuggingFace 中的 phi-2 进行提示的分步 Python 代码，然后我们将在 veggo 数据集上对其进行微调。我使用 T4 GPU 在 Google Colab 免费层上运行了此代码笔记本。

Python 有一些非常强大的 NLP 库，NLTK — 自然语言工具包 — NLTK 是一个强大的开源库，用于 NLP 的研究和开发。它内置了 50 多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推理。

你有多少次问谷歌一个问题，只是为了得到一个维基百科的链接，需要你点击、加载网站并滚动才能找到答案？那么自动问题搜索又是如何呢？

这里是Hugging Face手册第四部分，如何使用推理管道；即使您没有特定模式的经验或不熟悉模型背后的底层代码，您仍然可以使用它们通过 pipeline ()进行推理！

欢迎阅读我们【文本到上下文 #10】：此为最后一章。以我们之前对 BERT 和迁移学习的讨论为基础，将重点转移到更广阔的视角，包括语言模型的演变和未来，特别是生成式预训练转换器 （GPT） 及其在 NLP 中的重要作用。

关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。

在广阔的人工智能领域，自然语言处理 （NLP） 是一个迷人而充满活力的领域。NLP 弥合了计算机和人类语言之间的鸿沟，使机器能够理解、解释和生成类似人类的文本。这项变革性技术具有深远的影响，影响着我们日常生活的各个行业和方方面面。在这篇博文中，我们将探讨关键的 NLP 任务及其多样化的应用，展示语言处理的非凡能力。

欢迎来到我们对不断发展的自然语言处理 （NLP） 领域的探索的第 8 章。在本期中，我们将重点介绍一项重塑 NLP 格局的突破性创新：Transformers。在我们之前对 seq2seq 模型、编码器-解码器框架和注意力机制的讨论之后，我们现在开始了解 Transformer 如何彻底改变语言任务的方法。

​启动🤗并运行变形金刚！无论您是开发人员还是日常用户，此快速教程都将帮助您入门，并向您展示如何使用pipeline（）进行推理、使用AutoClass加载预训练模型和预处理器，以及使用 PyTorch 或 TensorFlow 快速训练模型。如果您是初学者，我们建议您接下来查看我们的教程或课程，以更深入地解释此处介绍的概念。

聊天机器人提供自动对话，可以帮助用户完成任务或寻求信息。随着深度学习的最新进展，聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人，涵盖模型架构、数据准备、训练循环、评估和部署。

文本预处理涉及许多将文本转换为干净格式的任务，以供进一步处理或与机器学习模型一起使用。预处理文本所需的具体步骤取决于具体数据和您手头的自然语言处理任务。

本文是Hugging Face的用户手册。加入 Hugging Face 社区，在模型、数据集和空间上进行协作，通过加速推理获得更快的示例。

循环神经网络是一个里程碑式的模型框架，它是对时间串处理的最基本构架；而理解RNN也是对自然语言处理模型的开端，本篇将对该模型的基本原理进行介绍。

在 NLP 系列的中，我们深入研究了序列到序列模型的复杂性，特别关注编码器-解码器架构和注意力机制。这种探索提供了对它们在各种 NLP 应用（如机器翻译和文本摘要）中的重要作用的见解。我们通过一个实际的例子来说明这些概念，强调它们在复杂的语言处理任务中的有效性。

本章阐明了BERT和迁移学习之间的协同作用，重点介绍了它们如何共同增强NLP应用。BERT对语言的深刻理解，加上迁移学习提供的效率和适应性，在该领域树立了新的标杆。

我们深入研究了标记化、文本清理、停用词、词干提取、词形还原、词性标记和命名实体识别。我们的探索包括文本表示技术，如词袋、TF-IDF 和词嵌入的介绍。然后，我们将 NLP 与机器学习联系起来，涵盖监督和无监督学习、情感分析以及分类和回归的基础知识。

在数字通信和信号处理领域，维特比算法是一种革命性的纠错和解码方法。该算法以 1967 年推出的 Andrew Viterbi 的名字命名，已成为数字通信和自然语言处理领域的基础。本文旨在深入研究维特比算法的复杂性，探讨其理论基础、实际应用以及它对技术和信息理论的影响。

欢迎回到我们的 NLP 博客系列！当我们进入第四部分时，焦点转移到机器学习 （ML） 和自然语言处理 （NLP） 之间的动态相互作用上。在本章中，我们将深入探讨 ML 和 NLP 的迷人协同作用，解开理论概念和实际应用。

今天，在我们的第三部分中，我们深入研究文本表示技术。这一阶段至关重要，因为它弥合了预处理文本与机器解释、分析文本并从中获取含义的能力之间的差距。我们将探讨这些技术如何将文本转换为数字形式，使计算机能够执行复杂的 NLP 任务，例如情感分析、主题建模等。

这篇文章是我们的“完整 NLP 指南：文本到上下文”博客系列的第二部分。我们的重点非常明确：我们深入研究为 NLP 任务奠定基础所必需的关键数据预处理步骤。虽然 NLP 的进步使得能够开发能够感知和理解人类语言的应用程序，但仍然存在一个关键的先决条件——以机器可以理解的格式准备并向机器提供数据。这个过程涉及一系列多样化且重要的预处理步骤。

欢迎来到“完整的 NLP 指南。到目前为止，我们已经探索了自然语言处理的基础知识、应用程序和挑战。我们深入研究了标记化、文本清理、停用词、词干提取、词形还原、词性标记和命名实体识别。我们的探索包括文本表示技术，如词袋、TF-IDF 以及词嵌入的介绍。然后，我们将 NLP 与机器学习联系起来，涵盖监督和无监督学习、情感分析以及分类和回归的基础知识。最近，我们涉足深度学习，讨论了神经网络、RNN 和 LSTM。现在，我们准备更深入地研究深度学习领域的词嵌入。