Knowledgebase的博客

深度神经网络具有一项独特的功能，可以推动机器学习在理解自然语言处理过程方面取得突破。PyTorch具有特定功能，有助于使这些复杂的自然语言处理模型变得更加容易。它是一个功能齐全的深度学习框架，强力支持计算机视觉等各种深度学习任务。许多研究人员得出结论，语言最好是与短语的分层树相对应的方式来理解。这种类型包括考虑了特定结构的递归神经网络。- 递归神经网络以应用相同的权重集合，并具有不同的图形结构。- 此递归神经张量网络包括树中的各种组合功能节点。- 自然语言处理包括递归神经网络的特殊情况。

使用名为word2vec的类实现词嵌入的Skip Gram模型。它包括emb_size、emb_dimension、u_embedding、v_embedding等类型的属性。在这一章中，我们将了解著名的词嵌入模型 - word2vec。Word2vec模型用于借助一组相关模型生成词嵌入。Word2vec模型是用纯C代码实现的，梯度是手动计算的。实现主要方法，以适当的方式显示词嵌入模型。按照以下方式实现词嵌入中的库 -

在这一章中，我们提出了一种替代方法，该方法依赖于一个单独的2D卷积神经网络跨两个序列。我们网络的每一层都基于迄今为止产生的输出序列重新编码源标记。因此，在整个网络中都存在类似注意力的属性。在这里，我们将专注于使用数据集中包含的值创建顺序网络，并进行特定的池化。这个过程也最适用于“图像识别模块”。使用以下代码执行必要的操作，以在相应的序列中创建模式。导入必要的模块，以便使用卷积进行序列处理的性能。生成的输出如下所示 -

在这一章中，我们将专注于使用卷积神经网络进行数据可视化模型。为了避免训练和测试数据中的潜在随机性，根据下面的代码中提供的方式命名相应的数据集 -使用下面的代码绘制必要的图像，以完美定义训练和测试数据。导入必要的模块，这对于传统神经网络的可视化至关重要。

卷积神经网络包括一个主要特性，即特征提取。使用“PyTorch”导入相应的模型，以创建特征提取模型。创建一个特征提取器类，可以根据需要随时调用。

在本章中，我们将重点讨论从头开始创建一个神经网络模型。这意味着使用PyTorch创建相应的神经网络或示例神经网络。步骤1创建一个必要的类，并设置相应的参数。这些参数包括具有随机值的权重。步骤2创建一个具有 sigmoid 函数的前馈模式函数。

训练模型的过程与图像分类问题相同。以下代码片段完成了在提供的数据集上训练模型的步骤 -在训练模式下，我们计算梯度并更改模型的参数值，但在测试或验证阶段不需要进行反向传播。在训练模式中，丢弃（dropout）会删除一部分数值，这在验证或测试阶段不应发生。修道院是关于从头开始构建CNN模型的。网络架构将包含以下步骤的组合 -该方法包括不同的逻辑用于训练和验证。Rectified Linear Unit（修正线性单元）Linear Layer（全连接层）MaxPool2d（最大池化层）Conv2d（卷积层）

在本章中，我们将更加专注于torchvision.datasets及其各种类型。Target_transform - 一个接受目标并对其进行变换的函数。例如，接受字幕字符串并返回世界索引的张量。Transform - 一个接受图像并返回标准内容的修改版本的函数。download - True表示从互联网下载数据集并将其放入根目录。train - True表示训练集，False表示测试集。root - 数据集的根目录，其中包含已处理的数据。图像尺寸：(3L, 427L, 640L)样本数量：82783。

循环神经网络（Recurrent neural networks，RNN）是一种深度学习导向的算法类型，它采用了一种顺序化的方法。这种类型的神经网络被称为循环神经网络，因为它们以顺序的方式执行数学计算，依次完成一个任务后再进行下一个。在上图中，c1、c2、c3和x1被视为输入，其中包括一些隐藏输入值，即h1、h2和h3，它们产生了相应的输出o1。我们将设置模型的超参数，将输入层的大小设置为7。我们将生成训练数据，其中x是输入数据序列，y是所需的目标序列。现在，是时候以所需的方式绘制正弦波了。

由于神经网络的输入层的数据维度发生了变化，因此尺寸从(18, 16, 16)变为(1, 4608)。在上图中，我们观察到每个连接都学习了与隐藏神经元相关联的权重，并在从一层移动到另一层时进行了相应的连接。它将用户输入的特征图作为卷积网络的输出，并准备一个精简的特征图。CNN与任何其他普通神经网络的主要区别在于，CNN将输入作为二维数组，并直接在图像上操作，而不是关注其他神经网络关注的特征提取。CNN的主要方法包括解决识别问题。计算第一卷积的激活，尺寸从(3, 32, 32)变为(18, 32, 32)。

在本章中，我们将专注于使用TensorFlow实现线性回归的基本示例。Logistic回归或线性回归是一种用于对有序离散类别进行分类的监督式机器学习方法。本章的目标是通过建立一个模型，使用户能够预测预测变量和一个或多个自变量之间的关系。按照以下方式使用PyTorch库实现线性回归 -生成的图形如下所示 -- b的值是y截距。- r2是相关系数。

PyTorch包括一个名为torchvision的包，用于加载和准备数据集。它包括两个基本函数，即Dataset和DataLoader，用于数据集的转换和加载。我们使用Python包Pandas来加载CSV文件。原始文件具有以下格式：（图像名称，68个标记点 - 每个标记点有x、y坐标）。DataLoader用于对数据进行随机排列和分批处理。它可以与多进程工作器一起并行加载数据。数据集用于从给定的数据集中读取和转换数据点。**DataLoader（数据加载器）****Dataset（数据集）**

静态图很好，因为用户可以提前优化图。如果程序员一次又一次地重复使用相同的图，那么这个潜在昂贵的提前优化可以在同一个图一次又一次地重新运行时保持不变。PyTorch中的优化包抽象了一个以多种方式实现的优化算法的概念，并提供了常用优化算法的示例。使用自动求导时，网络的前向传播将定义一个计算图 - 图中的节点将是张量，边将是从输入张量产生输出张量的函数。它们之间的主要区别在于TensorFlow的计算图是静态的，而PyTorch使用动态计算图。PyTorch张量可以创建为变量对象，其中变量表示计算图中的节点。

关于上面的图表，任何深度学习算法都涉及获取输入数据，构建相应的架构，其中包含一系列嵌套的层。如果您观察上面的图表，准确性是通过使用损失函数来评估的，该函数与神经网络的权重优化相关。4. 使用优化算法优化网络架构的权重。3. 使用损失函数评估架构。

PyTorch包括一个特殊功能，可以创建和实现神经网络。在本章中，我们将创建一个简单的神经网络，其中包含一个隐藏层和一个输出单元。使用内置函数创建一个顺序模型。

机器学习适用于不同数量的数据，主要用于小规模数据。以下图示了机器学习和深度学习在数据量方面的工作方式。例如，传统的机器学习模式关注像素和其他特征工程过程中需要的属性。深度学习算法关注来自数据的高级特征。与传统的机器学习算法相反，深度学习算法被设计为严重依赖高端计算机。深度学习算法执行大量矩阵乘法操作，这需要大规模的硬件支持。特征工程是将领域知识应用于指定的特征中，以降低数据的复杂性并使学习算法能够识别出模式的过程。在本章中，我们将讨论机器学习和深度学习概念之间的主要区别。

深度学习通过监督学习或从带有标签的数据和算法中学习获得了很大的重要性。深度学习中的每个算法都经历相同的过程。它包括对输入进行非线性变换的层次结构，并用它们来创建一个统计模型作为输出。机器学习是一门科学艺术，它允许计算机按照设计和编程的算法来行动。许多研究人员认为机器学习是朝着人类水平的人工智能取得进展的最佳途径。机器学习和深度学习构成了人工智能的一部分。下面提到的文氏图解释了机器学习和深度学习之间的关系。深度学习是机器学习的一个子领域，其中的算法受到大脑的结构和功能的启发，被称为人工神经网络。

位于输入和输出之间的层被称为隐藏层，而层与层之间的连接密度和类型构成了网络的配置。例如，一个完全连接的配置将层L的所有神经元连接到L+1的神经元。前馈神经网络是神经网络家族的基本单元。在这种类型的神经网络中，数据的传递是从输入层经过存在的隐藏层到输出层。一层的输出作为输入层，网络架构中不允许任何类型的循环。神经网络的主要原理包括一组基本元素，即人工神经元或感知器。6. 更新网络的权重，通常使用以下简单的更新规则：权重 = 权重 - 学习率 * 梯度。这是一个简单的前馈网络。各种类型的神经网络如下所述 -。

向量被认为是一组数字，可以是连续或离散的，包含向量的空间被称为向量空间。向量的空间维度可以是有限的或无限的，但已经观察到机器学习和数据科学问题通常涉及具有固定长度的向量。我们将使用一个名为"波士顿房价"的数据集，该数据集可以在Python的scikit-learn机器学习库中轻松获取。数学在任何机器学习算法中都至关重要，并包括各种数学核心概念，以便以特定方式设计正确的算法。因此，向量变得非常重要，被视为任何预测问题陈述的输入特征。现在，让我们专注于从自然语言处理的角度来看，机器学习的主要数学概念 -

PyTorch是一个流行的深度学习框架。在本教程中，我们将考虑“Windows 10”作为我们的操作系统。以下链接包含了一些软件包，其中包括适用于PyTorch的合适软件包。这涉及使用Anaconda框架来验证PyTorch框架的安装。突出显示的部分表明PyTorch已成功安装在我们的系统中。您只需要下载相应的软件包，并按照以下截图中所示进行安装。"Conda list" 显示已安装的框架列表。

PyTorch在Python中重新设计和实现了Torch，同时共享相同的核心C库以用于后端代码。计算图 - PyTorch提供了一个出色的平台，提供动态计算图。Python使用 - 这个库被认为是Pythonic的，可以与Python数据科学堆栈无缝集成。因此，它可以利用Python环境提供的所有服务和功能。最初，PyTorch由Hugh Perkins开发，作为基于Torch框架的LusJIT的Python封装。PyTorch与基于Lua的Torch框架密切相关，该框架在Facebook中广泛使用。