gongdiwudu的专栏

本栏目《pytorch实践》是为初学者入门深度学习准备的。本文是该栏目的导读部分，因为计划本栏目在明年完成，因此，导读部分，即本文也在持续更新中。

这是一个很典型的python包重复，冲突造成的错误。本案例表现为：在conda和pytorch下都存在libiomp5md.dll，因而出现二意性无法继续，本篇如实记录解决过程。

欢迎阅读这篇关于 PyTorch 原理的简明指南。无论您是初学者还是有一定经验，了解这些原则都可以使您的旅程更加顺利。让我们开始吧！

我知道我对分类器的期望是不切实际的。它的行为完全按照编程的方式进行。如果我将最后一层（softmax）输出解释为概率，那么作为输入给出的任何图像总会有一个具有最大值的类别。

pytorch是个好东西，它与tf的区别是，tf的布署性好，而pytorch布属性稍差。何为布署性？就是在实际应用中，可以用c调用、可以用java调用、用php调用...总之，支持的语言越多，布属性越好，这其实与模型尝试、模型训练没有半毛钱关系，何况，以2017年做分水岭，之后的项目全在tf2或pytorch上运行，因此提倡用pytorch，本文对最简单的pytorch进行梳理。

我最近发现自己需要一种方法将图像编码到潜在嵌入中，调整嵌入，然后生成新图像。有一些强大的方法可以创建嵌入或从嵌入生成。如果你想同时做到这两点，一种自然且相当简单的方法是使用变分自动编码器。

仪表板是表示任何类型数据的好方法，它是一种可以很好地理解我们正在处理的数据的形式。使用 HTML、CSS 和 JavaScript 框架构建令人惊叹的仪表板可能是一项非常棘手的工作，尤其是当您想要向仪表板添加复杂的功能和复杂的设计时。但不用担心，Python 会来拯救你。

​在本单元中，我们将了解卷积神经网络（CNN），它是专门为计算机视觉设计的。 多层卷积层允许我们从图像中提取某些图像模式，池化层，以及在CIFAR-10上的表现。​

本文主要介绍CNN中在pytorch的实现，其中MobileNet 网络，数据集来源，以及训练过程，模型生成和存储，模型调入等。

​这是关于分析和优化在GPU上运行的PyTorch模型的系列文章的第二部分。在我们的第一篇文章中，我们展示了使用 PyTorch Profiler 和TensorBoard迭代分析和优化PyTorch模型的过程和巨大潜力。​

为了预测从0到9的数字，我选择了一个基于著名的Kaggle的MNIST数据集的数据集。数据集包含从 到 的手绘图数字的灰度图像。在本文中，我将根据像素数据（即数值数据）和卷积神经网络预测数字。

在本单元中，我们从最简单的图像分类方法开始——一个全连接的神经网络，也称为感知器。我们将回顾一下 PyTorch 中定义神经网络的方式，以及训练算法的工作原理。

TensorFlow 2发布已经接近5年时间，不仅继承了Keras快速上手和易于使用的特性，同时还扩展了原有Keras所不支持的分布式训练的特性。3大设计原则：简化概念，海纳百川，构建生态.这是本系列的第三部分，我们将创建代价函数并在 TensorFlow 2 中使用它们。

我知道我对分类器的期望是不切实际的。它的行为完全按照编程的方式进行。如果我将最后一层（softmax）输出解释为概率，那么作为输入给出的任何图像总会有一个具有最大值的类别。

在 10年的深度学习中，进步是多么迅速！早在 2012 年，Alexnet 在 ImageNet 上的准确率就达到了 63.3% 的 Top-1。现在，我们超过90%的EfficientNet架构和师生训练（teacher-student）。

如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分，侧重于微调模型的不同方面。

​这篇文章的重点将是GPU上的PyTorch培训。更具体地说，我们将专注于 PyTorch 的内置性能分析器 PyTorch Profiler，以及查看其结果的方法之一，即 PyTorch Profiler TensorBoard 插件。​

Computer Vision（CV）是一个研究计算机如何从数字图像和/或视频中获得一定程度的理解的领域。理解这个定义具有相当广泛的含义 - 它可以从能够区分图片上的猫和狗，到更复杂的任务，例如用自然语言描述图像。

本篇示意DenseNet如何在tensorflow上实现，DenseNet与ResNet有类似的地方，都有层与层的“短路”方式，但两者对层的短路后处理有所不同，本文遵照原始论文的技术路线，完整复原了DenseNet的全部网络。

在这篇文章中，我们将展示如何在 TensorFlow 中实现像 \(LeNet-5\) 这样的基础卷积神经网络。LeNet-5 架构由 Yann LeCun 于 1998 年发明，是第一个卷积神经网络。

​深度学习在科学计算领域获得了广泛的普及，其算法被广泛应用于解决复杂问题的行业。所有深度学习算法都使用不同类型的神经网络来执行特定任务。本文研究了基本的人工神经网络以及深度学习算法如何模仿人脑。

目标检测的目标可以看作是分类问题的扩展。在分类中，我们在图像中有一个占据中心图像区域的主要实例或对象。然后，我们的目标是检测图像中的内容。对象检测类似，但更复杂。首先，我们不仅需要猜测它在图像中是什么，还需要检测它的位置。这通常是通过在对象边界框周围放置一个矩形框来完成的。这种定位是在地面实况标签方面完成的。也就是说，算法应该学习注释器的标记过程以及如何精确放置这个矩形框。从本质上讲，这可以转换为回归问题。另一方面，图像中确切内容的答案代表分类问题。对于我们预测的每个对象：图像中有什么？

神经风格或神经转移允许以新的艺术风格再现给定的图像。在这里，我介绍了 Leon A. Gatys、Alexander S. Ecker 和 Matthias Bethge 提出的神经风格算法。该算法接收样式图像、内容图像和输入图像，输入图像可以是空的白色图像，也可以是内容图像的副本。因此，它更改输入图像以使其类似于后一个图像的内容和前一个图像的样式。

关于pytorch使用中，模块扮演重要校色，大部分功能不能密集展现，因此，我们这个文章中，将模块的种种功能详细演示一遍。

介绍大模型，首先考虑一下使用 ChatGPT、Bing Chat 或 Bard 。您是否想过拥有自己的 ChatGPT 会是什么样子？想象一下创建自己的 GPT 模型的兴奋程度。这确实是一种难以置信的感觉！

在上一篇教程中，我们了解了 Torch Hub 背后的本质及其概念。然后，我们使用 Torch Hub 的复杂性发布了我们的模型，并通过相同的方式访问它。但是，当我们的工作要求我们利用 Torch Hub 上提供的众多全能模型之一时，会发生什么？

在本教程中，我们将以一种不寻常的方式触及问题的一个小方面。我们将让神经网络为我们绘制抽象图像，然后我们将解释这些图像，以便对幕后可能发生的事情有更好的直觉。

​本文接续前篇教学Pytorch 与线性回归，本文着重在 Activation Function （ 中文称 激励函数 ），我们会介绍激励函数 （也有人称 激活函数？ 激发函数？ ） 为什么会有用，还有通过示例来探讨/实作（本文介绍常用的 ReLU， Tanh， Sigmoid， Softmax ）​

PyTorch提供了两个数据原语：torch.utils.data.DataLoader和torch.utils.data.Dataset，允许您使用预加载的数据集以及您自己的数据。数据集存储样本及其相应的标签，DataLoader围绕数据集包装一个可迭代对象，以便轻松访问样本。

W在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。损失函数计算神经网络产生的预期输出和实际输出之间的差异。

神经网络是由层连接的神经元的集合。每个神经元都是一个小型计算单元，执行简单的计算来共同解决问题。它们按图层组织。有三种类型的层：输入层、隐藏层和输出层。每层包含许多神经元，但输入层除外。神经网络模仿人脑处理信息的方式。

Tensor 是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，我们使用张量对模型的输入和输出以及模型的参数进行编码。

这次我们要来做 PyTorch 的简单教学，我们先从简单的计算与自动导数（ auto grad / 微分 ）开始，使用优化器与误差计算，然后使用 PyTorch 做线性回归，还有 PyTorch 于 GPU 显示卡（ CUDA ） 的使用范例。

迁移学习是一种机器学习技术，其中预先训练的模型适用于新的但类似的问题。迁移学习的关键步骤之一是能够冻结预训练模型的层，以便在训练期间仅更新网络的某些部分。当您想要保留预训练模型已经学习的特征时，冻结至关重要。在本教程中，我们将使用一个简单的示例来演示在 PyTorch 中冻结权重以进行迁移学习的过程。

本文主要介绍CNN中在pytorch的实现，其中VGG16网络，数据集来源，以及训练过程，模型生成和存储，模型调入等。

如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分，侧重于微调模型的不同方面。

训练模型是一个迭代过程。每次迭代称为纪元。该模型对输出进行猜测，计算其猜测中的误差（损失），收集误差相对于其参数的导数，并使用梯度下降优化这些参数。

深度学习是机器学习的一个分支，其中编写的算法模仿人脑的功能。深度学习中最常用的库是 Tensorflow 和 PyTorch。由于有各种可用的深度学习框架，人们可能想知道何时使用 PyTorch。以下是人们更喜欢使用 Pytorch 来完成特定任务的原因。

在本文中，我们将深入研究 PyTorch Lightning，并探索它如何通过分布式训练实现深度学习工作流的扩展。分布式训练对于在海量数据集上训练大型模型至关重要，因为它允许我们利用多个 GPU 或机器的强大功能来加速训练过程。然而，分布式训练往往伴随着一系列挑战和复杂性。

在本单元中，我们将了解如何加载模型及其持久参数状态和推理模型预测。为了加载模型，我们将定义模型类，其中包含用于训练模型的神经网络的状态和参数。