木千之

Transformer基于Self-Attention机制实现了一个强大的通用AI框架，这里的通用，指的是Transformer最初用于处理NLP问题，但是后续研究证实其可以应用与图像、视频等多个领域，从而实现了文本、图像、视频、语音的多合一，即为通用AI模型。需要注意的是，由于注意力分数本身是由查询方和比较方的内积相似度计算得到，因而将其作为权重求和时可以实现强相关的向量贡献大，相关性小的向量贡献小的效果，从而实现了自动提取与目标向量相关的上下文信息的目的。

本文并未进行详细的数学公式推导，因为涉及链式法则相对繁琐。对于大多数ANN使用者而言，仅需要建立一种认知：ANN的求解可以借助梯度下降算法逼近损失函数最小值，其中偏导数的计算可以借由基于神经单元误差的误差反向传播算法递推计算，所用数值均为相应神经单元的线性输入与激活函数、输出值等——而这些数值在进行正向计算时均已存储在网络数据结构中了。

大多数课程的第一课，都会对课程内容做一个基本的介绍，其核心离不开三个方面：为什么学？学什么？怎么学？根据不同老师教学风格，可能会补充介绍发展态势，引出未来挑战与期望。在多数人理解中，上述内容可以纳入“课程概述”范畴。自己也始终对“概述”抱有类似概念上的认识。只是最近孩子偶然问起什么是人工智能时，一时语塞，不知该从何处、以何种线索向孩子做简要说明。猛然发觉，原先熟悉的“概述”，已经涵盖了人工智能的基本信息与基本问题，完全可以作为对人工智能最基本的“知识图谱”。

如同我们曾经做过的“5年高考3年模拟”，历届高考题类似于标准训练集，而模拟题则是在标准高考题上的演化和改变，若高考时遇到类似题目，则可以较好地的作答，从而实现了“泛化”能力。对于“torchvision.transforms”而言，其提供了常用的图像处理方法，典型如：数据中心化、数据标准化、缩放、裁剪、翻转、跳转、填充、噪声添加、灰度变换、线性变换、仿射变换以及亮度、饱和度和对比度变换等。从学习观的角度，模拟题的意义在于改变原始高考题的考查形式，从而对比凸显出不变的考点和解题方法。

2）若“drop_last=False”，则“1 Epoch = 11 Iteration”，其最后一个Iteration时样本个数为7，小于既定Batchsize。若样本总数87个，当Batchsize-8时，可以知道：1）若“drop_last=True”，则“1 Epoch = 10。”的作用是构建一个可迭代的数据装载器，每次执行循环的时候，就从中读取一批Batchsize大小的样本进行训练。若样本总数80个，当Batchsize=8时，可以知道“1 Epoch = 10 Iteration”。

经过前面的学习，我们介绍了张量Tensor的基本操作，也知晓了PyTorch的AutoGrad系统。有了上述基础，便可以试着训练简单的机器学习模型了。今天我们将尝试训练一个简单的逻辑回归模型。逻辑回归模型（）是线性的二分类模型，其通用模型表达式如下，其中f(x)被称为sigmoid函数，也称作Logistic函数，由于其具有光滑连续且单调递增，且以“0.5”作为分界点的特性，因此常可用于二分类模型的激活函数。如某样本输入sigmoid函数后其概率大于0.5，则判定为正类，反之判定为负类。yfWX。

从前述课程中，我们已经知道：PyTorch训练机器学习或深度学习模型时，依赖于计算优化目标函数（如Loss函数）时的反向传播梯度，并以此层层求导更新每个计算图中结点的数值（权重）。然而，深度学习架构中经常面临成百上千的待确定参数，而这意味着需要对几百个参数进行导数运算，对于人工而言无疑是困难且低效的。PyTorch为此提供了自动求导系统AutoGrad，只需要我们根据模型动态搭建好正向计算图，继而调用AutoGrad系统提供“backward”方法以实现模型训练过程。AutoGrad中最常用的方法是**“t

从图上来看，目标函数y针对w的偏导数，恰恰就是图中结点y到结点w的所有路径之和。默认情况下，只有我们创建的结点为叶子结点，其余计算图中的结点均非叶子结点，二者的区别在于，在一次后向传播计算完成后，非叶子结点的梯度值会被释放从而节省内存。按照上述法则计算偏导数，可以得到各个结点上的偏导数表示，并进而通过后向传播算法计算得到目标函数y在自变量x和w处的偏导数。计算图是用来描述运算的有向无环图。然后用计算图中的结点表示数据（结点），用边表示存在运算关系，辅之以运算符号标识，可以得到如下的计算图。

线性回归是分析一个变量与另外一个（或多个）变量之间关系的一种方法，该方法需要从实际数据中抽象出因变量Y、自变量X，且假定Y相对于X按照近似线性的方式变化，即函数图像上近似呈现一条直线。通常可以用下述公式表示，而模型求解目标为确定其中的斜率W与偏置b。

在学习了Tensor的创建方法之后，接下来你可能会问：那么我们可以对Tensor进行哪些操作呢？不急，今天我们就来聊聊Tensor的操作方法。这部分主要包含两类：Tensor的基础操作：如拼接、切分、索引和变换Tensor的数学运算。

Tensor是PyTorch中的基础数据概念，直译过来为“张量”。那么什么是张量呢？我们知道，数学是研究世间数量和空间关系的学科，“张量”作为一种特殊的数量形式，自然也来自于数学领域。最原始的数量就是标量，因为其只有“数量”而没有变化方向，如数字“1”。若将标量沿着某个方向进行数据扩展，就会得到一个1维数组，也称为1维张量（通俗理解是沿着某个方向“扩张”）。若在1维数组的基础上再添加一个方向，则容易变成2维数组，即2维张量。

PyTorch是一个开源的Python机器学习库，其前身是Torch。2017年由Facebook人工智能院基于Torchtu推出了PyTorch，新版本不仅使用Python重写了大量内容，提高了灵活易用性，同时提供强大的GPU加速张量计算，并包含自动求导系统的深度神经网络。2022年9月，扎克伯格宣布PyTorch基金会已经成立，并归入Linux基金会旗下。目前PyTorch是使用人数增长最为迅速的深度学习框架，且由于其高度定制性和灵活性，日益受到学术研究领域的推崇。

可以看出，RNN结构最大的特点，是添加了新的数据流将不同的MLP连接起来，其中的数据流公式如下，其中a^{t-1} 表示t-1时刻传递的状态信息，x^t表示t时刻输入，可见t时刻的输出与向前传递的新状态信息均是t时刻输入和t-1时刻状态信息的函数。另一种可行的方式是采用“one-hot”编码， 即对所有不同的单词设定与数量相同的一个长向量，比如分析语料库中总计10000个单词，则建立一个维度10000的向量，当某个单词出现时，在其对应的位置上标记“1”，其余位置标记“0”即可。常见的RNN结构如下。