龙哥盟

这是您应该从这个示例中了解到的内容：通常，您需要对原始数据进行大量预处理，以便能够将其（作为张量）馈送到神经网络中。单词序列可以编码为二进制向量，但也有其他编码选项。具有relu激活的Dense层堆叠可以解决各种问题（包括情感分类），您可能经常会使用它们。在二元分类问题（两个输出类别）中，您的模型应该以一个具有一个单元和sigmoid激活的Dense层结束：您的模型的输出应该是一个介于 0 和 1 之间的标量，编码为概率。在二元分类问题上，具有标量 S 形输出的损失函数应该使用。rmsprop。

本章涵盖基本概念的高级定义机器学习发展的时间线深度学习日益普及和未来潜力背后的关键因素在过去几年中，人工智能（AI）一直是媒体炒作的对象。机器学习、深度学习和人工智能在无数文章中出现，通常是在技术类出版物之外。我们被承诺一个智能聊天机器人、自动驾驶汽车和虚拟助手的未来——有时被描绘成一个阴暗的未来，有时被描绘成乌托邦，人类的工作将变得稀缺，大部分经济活动将由机器人或人工智能代理处理。

数据管道的基本组件包括数据存储、数据检索、数据预处理和数据馈送。为了获得最佳的 I/O 性能，如果整个数据集可以适合内存，则在训练期间使用内存中的数据馈送；否则，使用磁盘上的数据馈送。根据数据是否在磁盘上以压缩或未压缩的形式存储，存在额外的空间和时间性能权衡。你可能可以通过基于子群体采样分布的混合方法来平衡这些权衡。如果你处理卫星数据，你需要了解 HDF5 格式。如果你处理医学影像数据，你需要了解 DICOM。

自动编码器学习输入到低维表示的最佳映射，然后学习映射回高维表示，以便可以进行图像的变换重建。自动编码器可以学习的变换函数示例包括恒等函数（压缩）、去噪图像和构建图像的高分辨率版本。在卷积神经网络自动编码器中，池化操作通过步长卷积完成，而反池化操作通过步长反卷积完成。在无监督学习中使用自动编码器可以训练模型学习数据集分布的基本特征，而无需标签。使用编码器作为无监督学习预训练任务的前缀可以辅助后续的监督学习，以学习更好的泛化所需的基本特征。

使用设计模式来设计和编码卷积神经网络可以使模型更易于理解，节省时间，确保模型代表了最佳 SOTA 实践，并且易于他人复现。程序设计模式使用了软件工程中的重用原则，这是软件工程师广泛实践的原则。宏架构由主干、学习者和任务组件组成，这些组件定义了模型中的流程以及在哪里/进行何种类型的学习。微架构由定义模型如何执行学习的组和块设计模式组成。预处理组的目的在于扩展现有的（预训练）模型以用于上游数据预处理、图像增强以及对其他部署环境的适应。

作为一名谷歌员工，我的职责之一是教育软件工程师如何使用机器学习。我已经有了创建在线教程、聚会、会议演示、培训研讨会和为私人编码学校和大学研究生课程编写课程的经验，但我总是寻找新的有效教学方法。在谷歌之前，我在日本 IT 行业担任了 20 年的首席研究科学家——这一切都没有涉及深度学习。今天我所看到的一切，我们 15 年前在创新实验室里就已经在做；区别在于我们需要一个满屋子的科学家和庞大的预算。深度学习带来的变化如此之快，真是令人难以置信。

我们可以通过将 PyTorch 模型包装在 Python Web 服务器框架（如 Flask）中来提供 PyTorch 模型的服务。通过使用 JIT 模型，我们可以避免即使从 Python 调用它们时也避免 GIL，这对于服务是一个好主意。请求批处理和异步处理有助于有效利用资源，特别是在 GPU 上进行推理时。要将模型导出到 PyTorch 之外，ONNX 是一个很好的格式。ONNX Runtime 为许多目的提供后端支持，包括树莓派。

二进制标签和二进制分类阈值结合在一起，将数据集分成四个象限：真正阳性、真正阴性、假阴性和假阳性。这四个量为我们改进的性能指标提供了基础。回忆是模型最大化真正阳性的能力。选择每一个项目都能保证完美的回忆——因为所有正确答案都包括在内——但也表现出较低的精度。精度是模型最小化假阳性的能力。不选择任何内容保证了完美的精度——因为没有错误答案被包括在内——但也表现出较低的回忆。F1 分数将精度和回忆结合成一个描述模型性能的单一指标。我们使用 F1 分数来确定对训练或模型进行的更改对我们的性能有何影响。

卷积可用作处理图像的前馈网络的线性操作。使用卷积可以产生参数更少的网络，利用局部性并具有平移不变性。将多个卷积层及其激活函数依次堆叠在一起，并在它们之间使用最大池化，可以使卷积应用于越来越小的特征图像，从而在深度增加时有效地考虑输入图像更大部分的空间关系。任何nn.Module子类都可以递归收集并返回其自身和其子类的参数。这种技术可用于计数参数、将其馈送到优化器中或检查其值。函数式 API 提供了不依赖于存储内部状态的模块。它用于不持有参数且因此不被训练的操作。

本章涵盖了理解算法如何从数据中学习将学习重新定义为参数估计，使用微分和梯度下降走进一个简单的学习算法PyTorch 如何通过自动求导支持学习随着过去十年中机器学习的蓬勃发展，从经验中学习的机器的概念已经成为技术和新闻界的主题。那么，机器是如何学习的呢？这个过程的机制是什么–或者说，背后的算法是什么？从观察者的角度来看，一个学习算法被提供了与期望输出配对的输入数据。一旦学习发生，当它被喂入与其训练时的输入数据足够相似的新数据时，该算法将能够产生正确的输出。通过深度学习，即使输入数据和期望输出相距很远，这个过程

欢迎来到本书的第一部分。在这里，我们将与 PyTorch 迈出第一步，获得理解其结构和解决 PyTorch 项目机制所需的基本技能。在第一章中，我们将首次接触 PyTorch，了解它是什么，解决了什么问题，以及它与其他深度学习框架的关系。第二章将带领我们进行一次旅行，让我们有机会玩玩已经在有趣任务上预训练的模型。第三章会更加严肃，教授 PyTorch 程序中使用的基本数据结构：张量。第四章将带领我们再次进行一次旅行，这次是跨越不同领域的数据如何表示为 PyTorch 张量。第五章揭示了程序如何从示例中学习以

到目前为止，我们所研究的所有问题都涉及以某种方式将输入转换为输出。您创建一个模型，该模型接受输入并产生输出。然后，您对来自数据集的输入样本进行训练，优化以产生每个样本的最佳输出。生成模型是不同的。它们不是以样本作为输入，而是以样本作为输出。您可以在猫的照片库上训练模型，它将学会生成看起来像猫的新图像。或者，为了给出一个更相关的例子，您可以在已知药物分子的库上对其进行训练，它将学会生成新的“类似药物”的分子，以用作虚拟筛选中的候选物。从形式上讲，生成模型是在从某个（可能未知，可能非常复杂）概率分布中抽取的一组

近年来，生命科学和数据科学已经融合。机器人技术和自动化的进步使化学家和生物学家能够产生大量数据。如今，科学家们一天内能够生成的数据量比 20 年前的前辈整个职业生涯中能够生成的数据量还要多。这种快速生成数据的能力也带来了许多新的科学挑战。我们不再处于将数据加载到电子表格中并制作几张图表的时代。为了从这些数据集中提炼科学知识，我们必须能够识别和提取非显而易见的关系。在过去几年中出现的一种强大的工具是深度学习，这是一类算法，已经彻底改变了解决问题的方法，如图像分析、语言翻译和语音识别。

原文：zh.annas-archive.org/md5/ea99677736c22d68b5818a18b5a9213a。

作为一种机器学习类型，强化学习是关于学习如何做出最优决策。在强化学习问题中，代理学习在环境中选择行动以最大化称为累积奖励的指标。与监督学习不同，RL 中没有标记的训练数据集。相反，代理必须通过尝试随机动作来学习在不同情况下哪些动作是好的。我们探讨了两种常用的强化学习算法类型：基于策略的方法（以倒立摆为例）和基于 Q 值的方法（以贪吃蛇为例）。策略是一种算法，代理根据当前状态观察选择动作。策略可以封装在一个神经网络中，该网络将状态观察作为输入并产生动作选择作为输出。这样的神经网络称为策略网络。

本章内容如何使用 tfjs-vis 执行自定义数据可视化如何在模型训练后查看内部工作并获得有用的见解可视化对于机器学习从业者来说是一项重要的技能，因为它涉及到机器学习工作流的每个阶段。在我们构建模型之前，我们通过可视化来检查数据；在模型工程和训练期间，我们通过可视化来监测训练过程；模型训练完毕后，我们使用可视化来了解其工作原理。在第六章中，你了解到在应用机器学习之前，可视化和了解数据的好处。我们介绍了如何使用 Facets，这是一个基于浏览器的工具，可以帮助你快速、交互式地查看数据。在本章中，我们将介绍一个

这种编码图像的方式被称为高度-宽度-通道(HWC)。为了在图像上进行深度学习，我们经常将一组图像合并成一个批次以便进行高效的并行计算。当批量处理图像时，各个图像的维度总是第一维。这与我们在 第二章 和 第三章 中将一维张量组合成批量化的二维张量的方式类似。因此，图像的批次是一个四维张量，它的四个维度分别是图像数量（N）、高度（H）、宽度（W）和颜色通道（C）。这个格式被称为NHWC。还有另一种格式，它由四个维度的不同排序得出。它被称为NCHW。

如果神经网络的基本思想和核心技术早在 1980 年代就已存在，为什么深度学习革命直到 2012 年才开始发生？两者之间发生了什么变化？总的来说，推动机器学习进步的有三个技术力量：硬件数据集和基准测试算法进展让我们逐一探讨这些因素。考虑因素示例与客户端相关的原因由于数据局部性而降低推理和训练延迟在客户端脱机时运行模型的能力隐私保护（数据永远不会离开浏览器）降低服务器成本简化的部署栈与 Web 浏览器相关的原因可用于推理和训练的多种数据形式（HTML5 视频、音频和传感器 API）

1树节点有一个父节点和可能有很多子节点。2节点以一个先验概率初始化。3效用函数将在搜索过程中更新。在模拟中遍历树时，你根据 argmax[a]Qsa) +usa)选择节点的子节点；你选择最大化 Q 值和效用函数总和的动作。在一个叶节点，你会要求强策略评估从这个位置出发的所有合法移动，并为每个移动添加一个新的实例。最后，在完成所有模拟后，你相应地更新q_value和u_value。如下所示，前两种方法很简单。

考虑识别朋友照片的任务。对大多数人来说，即使照片光线昏暗，或者你的朋友剪了头发或穿了新衬衫，这也是轻而易举的。但假设你想编程让计算机做同样的事情。你甚至从哪里开始？这正是机器学习可以解决的问题。传统上，计算机编程是关于将明确的规则应用于结构化数据。人类开发者编写计算机程序来执行数据上的一系列指令，并得到期望的结果，如图 1.1 图 1.1 所示。想想税务表格：每个框都有一个明确的含义，详细的规则说明了如何从它们中进行各种计算。根据你所在的地方，这些规则可能非常复杂。

是一位金融作家、交易顾问和机构市场策略师，专门从事货币市场，重点关注技术和量化主题。Sofien 的目标是通过结合可以分析和创建的清晰条件，使技术分析客观化，并使用可以与现有技术指标匹敌的技术指标。Sofien 已经详细阐述了许多成功的交易算法，现在他正在分享多年来所获得的知识，使其对每个人都可以获得。

您已经在讨论线性回归和第三章统计推断中看到了线性方程的一个例子。线性方程基本上是呈现不同变量和常数之间的等式关系的公式。在机器学习的情况下，它通常是依赖变量（输出）和自变量（输入）之间的关系。理解线性方程的最佳方法是通过示例。​第 2、3 和 4 章介绍了您需要开始理解基本机器学习和深度学习模型的主要数值概念。我已经尽最大努力尽可能简化技术要求，我鼓励您至少阅读这三章两次，以便您学到的一切变得自然而然。

开始学习复杂主题的最佳方法是逐渐建立动力，直到你开始完成拼图。了解金融深度学习需要对基本和中级数据科学主题以及金融市场及其结构有一定的了解。本章为深入了解数据科学及其用途以及金融市场以及如何从数据科学中受益的构建基础。在本章结束时，你应该知道数据科学是什么，它的应用是什么，以及你如何在金融领域中利用它来提取价值。本书的目的是以实践的方式应用不同的学习模型来创建不同的交易策略。因此，了解交易和金融市场运作方式至关重要。金融市场是人们可以交易金融工具（如股票、债券和货币）的地方。买卖行为被称为交易。

原文：www.bookstack.cn/read/th-fastai-book/cedc7ab42349d210.md飞龙恭喜！你成功了！如果你已经完成了到这一点的所有笔记本，你已经加入了一个小但不断增长的人群，他们能够利用深度学习的力量解决实际问题。你可能不会觉得这样—事实上，你可能不会。我们一再看到完成 fast.ai 课程的学生明显低估了自己作为深度学习从业者的效力。我们也看到这些人经常被具有传统学术背景的其他人低估。

的一个值得关注的参数是bn_final。将其设置为True将导致一个 batchnorm 层被添加为您的最终层。这有助于帮助您的模型适当地缩放输出激活。迄今为止，我们还没有看到这种方法在任何地方发表，但我们发现在实践中无论我们在哪里使用它，它都效果很好。现在让我们看看在我们在第一章展示的分割问题中做了什么。恭喜你——你已经完成了书中“深度学习基础”部分！现在你理解了 fastai 的所有应用程序和最重要的架构是如何构建的，以及训练它们的推荐方法——你拥有构建这些内容所需的所有信息。

在第一章中，我们看到深度学习可以用于处理自然语言数据集并取得出色的结果。我们的示例依赖于使用预训练的语言模型，并对其进行微调以对评论进行分类。该示例突出了 NLP 和计算机视觉中迁移学习的区别：通常情况下，在 NLP 中，预训练模型是在不同任务上训练的。我们所谓的语言模型是一个经过训练以猜测文本中下一个单词的模型（在读取之前的单词后）。这种任务称为自监督学习：我们不需要为我们的模型提供标签，只需向其提供大量文本。它有一个过程可以从数据中自动获取标签，这个任务并不是微不足道的：为了正确猜测句子中的下一个单词，

在上一章中，你学习了一些在实践中训练模型的重要技术。选择学习率和周期数等考虑因素对于获得良好结果非常重要。在本章中，我们将看到另外两种计算机视觉问题：多标签分类和回归。第一种情况发生在你想要预测每个图像的多个标签（有时甚至没有标签），第二种情况发生在你的标签是一个或多个数字——数量而不是类别。在这个过程中，我们将更深入地研究深度学习模型中的输出激活、目标和损失函数。多标签分类指的是识别图像中可能不只包含一种对象类别的问题。可能有多种对象，或者在你寻找的类别中根本没有对象。例如，这对我们的熊分类器来说是一个很

现在您已经看到每个步骤中发生的事情，让我们再次看一下我们的梯度下降过程的图形表示（图 4-5）并进行一个快速回顾。

深度学习是一项强大的新技术，我们认为它应该应用于许多学科。领域专家最有可能发现它的新应用，我们需要更多来自各个背景的人参与并开始使用它。这就是为什么 Jeremy 共同创立了 fast.ai，通过免费在线课程和软件使深度学习更容易使用。Sylvain 是 Hugging Face 的研究工程师。以前他是 fast.ai 的研究科学家，曾是一名数学和计算机科学教师，负责培养学生进入法国精英大学的计划。我们一起写这本书，希望尽可能多地将深度学习交到更多人手中。你的分类器是一个深度学习模型。

在第五章中，我们探讨了如何生成文本，以某个现有语料库的风格为基础，无论是莎士比亚的作品还是 Python 标准库中的代码，而在第十二章中，我们研究了通过优化预训练网络中通道的激活来生成图像。在本章中，我们将结合这些技术并在其基础上生成基于示例的图像。基于示例生成图像是一个活跃研究领域，新的想法和突破性进展每月都有报道。然而，目前最先进的算法在模型复杂性、训练时间和所需数据方面超出了本书的范围。相反，我们将在一个相对受限的领域进行工作：手绘草图。我们将从查看谷歌的 Quick Draw 数据集开始。这是一个在

在本章中，我们将构建一个模型，根据一小段文本建议表情符号。我们将首先基于一组带有各种情感标签的推文开发一个简单的情感分类器，如快乐、爱、惊讶等。我们首先尝试一个贝叶斯分类器，以了解基线性能，并查看这个分类器可以学到什么。然后我们将切换到卷积网络，并查看各种调整这个分类器的方法。接下来我们将看看如何使用 Twitter API 收集推文，然后我们将应用配方 7.3 中的卷积模型，然后转向一个单词级模型。然后我们将构建并应用一个递归单词级网络，并比较这三种不同的模型。最后，我们将把这三个模型组合成一个胜过任何一

当前深度学习热潮的根源出奇地早，可以追溯到上世纪 50 年代。虽然“智能机器”的模糊想法可以在小说和推测中找到更早的踪迹，但上世纪 50 年代和 60 年代见证了第一批基于生物神经元极为简化模型的“人工神经网络”的引入。在这些模型中，由弗兰克·罗森布拉特提出的感知器系统引起了特别的兴趣（和炒作）。连接到一个简单的“摄像头”电路，它可以学会区分不同类型的物体。尽管第一个版本是在 IBM 计算机上作为软件运行的，但随后的版本都是在纯硬件上完成的。对多层感知器（MLP）模型的兴趣在 60 年代持续。

生物学中的深度学习很困难。数据很混乱，目标通常是开放式的，训练有用的模型可能很棘手。但正是这一点使得它令人兴奋。每一次实验，你不仅是在解决技术挑战，你还在帮助推动我们对生命本身理解的边界。旅程不会总是顺利——模型可能会以令人惊讶的方式失败，你可能会编写灾难性的错误，数据可能包含重大的错误。但如果你保持好奇心，保持模块化，在不确定时简化，保持耐心，你将找到自己的路。

好的，我们现在已经从完整的分类器中提取了一个独立的 ResNet 模块。我们还检查了它的最终输出——由全局平均池化产生的 2,048 维特征向量。这个向量捕捉了输入图像的浓缩表示，并将作为我们自定义分类器头的输入。在骨干结构就位后，我们现在准备构建。皮肤病变的分类是一项真正的困难任务——如果不是这样，早期检测就会是常规操作，并且会错过更少的病例。尽管如此，我们本章构建的模型展示了机器学习如何在这个挑战中提供有意义的帮助，提供了可扩展的工具来支持（而不是取代）临床专业知识。

在本章中，我们将构建一个深度学习模型来预测 DNA 序列是否被一类称为转录因子（TFs）的蛋白质所结合。转录因子在基因调控中起着核心作用：它们结合到特定的 DNA 序列上，并影响附近基因是开启还是关闭。通过识别这些序列模式，我们可以开始解码基因组中嵌入的调控逻辑。与前一章不同——我们使用了 Hugging Face 的现成蛋白质模型——在这里，我们将从头开始定义和训练自己的模型。这让我们有更多的控制权，并帮助我们更好地理解深度学习在生物数据上的工作原理。我们将探索基于卷积和基于转换器的架构，并介绍解释技术，

这本书向您介绍了生物学与深度学习之间迷人的交汇点。它面向那些渴望获得计算技能的生物学家和那些对将他们的专业知识应用于生物学问题感兴趣的计算实践者。这种学科融合正在改变生物技术和医学，并有望成为整个生命科学的基础。本书的内容旨在作为入门级教程，引导您从基础知识到更高级的概念。我们旨在平衡实际代码示例和清晰的解释，使新术语和概念易于理解。现实世界的 Python 代码出现得早且频繁，有助于您培养实际操作直觉。

在第七章中，我们手动实现了一些基本的护栏。虽然预构建的护栏框架的出现可以在安全性方面提供显著的提升，但这些手工制作的护栏仍然有其作用。用您自己的定制、领域或应用程序特定的护栏补充护栏框架是有意义的。这类深度防御策略在网络安全中通常是最成功的。

世界上到处都在追逐大型语言模型（LLM）的浪潮，这令人兴奋！当 ChatGPT 突然出现在舞台上时，它不仅仅进入了记录簿；它打破了记录，成为历史上最快被采用的应用。现在，仿佛地球上的每个软件供应商都在竞相将生成式 AI 和 LLM 技术嵌入到他们的产品堆栈中，将我们推向未知的领域。这种喧嚣是真实的，炒作是有理由的，可能性似乎是无限的。但等等，还有转折。当我们惊叹于这些技术奇迹时，它们的安保结构，用最温和的话说，还在建设中。残酷的事实是？

作为插件开发者，您必须创建一个 API，并将其与两个描述性文件关联起来：一个插件清单和一个 OpenAPI 规范。当用户开始与 GPT-4 进行交互时，如果安装了您的插件，OpenAI 会向 GPT 发送一个隐藏的消息。这条消息简要介绍了您的插件，包括其描述、端点和示例。然后，模型变成了一个智能的 API 调用者。当用户询问有关您的插件的问题时，模型可以调用您的插件 API。调用插件的决定是基于 API 规范和自然语言描述您的 API 应该在何种情况下使用。

在发布仅仅五天后，ChatGPT 就吸引了惊人的一百万用户，这在科技行业及其他领域引起了轰动。作为一个副作用，OpenAI API 用于人工智能文本生成的接口突然曝光，尽管它已经可用了三年。ChatGPT 界面展示了这种语言模型的潜力，突然之间，开发人员和发明家开始意识到他们手边可利用的令人难以置信的可能性。自然语言处理领域在多年来取得了令人难以置信的技术进步，但直到最近，这项技术的使用仅限于少数精英。OpenAI API 及其附属库为寻求构建人工智能应用程序的任何人提供了一个即插即用的解决方案。无需拥有强