小李的研究生学习日记

本专栏将通过系统的深度学习实例，从可解释性的角度对深度学习的原理进行讲解与分析，通过将深度学习知识与Pytorch的高效结合，帮助各位新入门的读者理解深度学习各个模板之间的关系，这些均是在Pytorch上实现的，可以有效的结合当前各位研究生的研究方向，设计人工智能的各个领域，是经过一年时间打磨的精品专栏！

万字长文：图像化反向传播+代码实现y=wx的反向传播+梯度消失的实质与案例+梯度爆炸+梯度检查+从信息传播的角度看后向传播算法

卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）

二维情况下的卷积和一维并没有本质上的不同，下面略过公式，直接来形象理解。深度学习·理论篇：单通道与多通道卷积可视化+(空间可分离卷积+深度可分离卷积+分组卷积+反卷积+八度卷积)可视化+OctConv模型理论

卷积神经网络是深度学习中应用最广泛的一种网络，而卷积就是这种网路的基础。本节就来了解卷积的概念，性质和计算方式。点积与卷积的可视化+卷积在深度学习中的作用+卷积的理论支撑与公式详解+图像化表示一维卷积的不同情况

第008篇实际应用中的PCA主成分分析：什么是主成分+特征向量特征值求解主成分+降维归一化与相关系数的概念+降维的手段+什么数据适合。既然高维度带来了如此多的灾难，一个很自然的想法就是降低维度，然后在低维度下解决问题。例如： x’=f(x)，如果x’相对于x是一个维度很低的向量，则相当于达到了降维的效果。关于降维，先举一个最简单的例子，即主成分分析（Principal Component Analysis,PCA)，考虑如下的协方差矩阵对应的高斯分布的样本，如图2-33所示。

虽然数据在高维上的缺陷听起来非常可怕，但实际上更常见的情况是，数据常常是在一个等效维度更低的子区域中。除了这些抽象的样本，实际应用中接触到的样本更是如此！1 数据实际的维度1.1 举例说明：实际应用中，数据之间的维度存在相关性1.2 总结结论1.3 举例说明：灰度图像与维度的相关性2 局部泛化2.1 局部泛化的概念2.2 举例：利用一维例子表示局部泛化(Local Generalization)3 数据到结果的映射函数对实际维度的影响

高维空间下的维度与体积距离的关系：采样和维度+高维空间下体积与距离+中心极限定律与距离分布。特别注意并不是所有低维度的性质和现象都可以推广到高维情况。因此在高维的世界里，有许多低维空间中顺理成章的事情不再成立，并且由于很难形象理解，这些高维度中的变化往往是让人感到非常头疼的。

一篇文章图形化联合熵/条件熵/交叉熵/KL散度/JS散度/互信息之间的关系+最大似然估计(MLE)，有个很自然的问题就是，给定观测的数据和分布下，如何才能找到一组参数让分布和数据最大程度地吻合？这个问题就是最大似然估计要解决的。顾名思义，最大似然估计要解决的是下面问题。具体来说，对于一组观测到的数据{x1,x2,…,xn}，最大似然的参数为下面的问题：用一个简单例子来看一下，如图2-21所示，为一组观测到的数据在3组不同的正态分布参数下的可视化例子。

如果有事件A和B，在已知B事件发生的条件下，A 事件发生的概率为P(A|B)。通过定义，一个直观的感受是条件概率描述了依赖性。从反面的角度来说，就是一个事件是否是独立的。所以我们来考虑这两种情况：①第一种情况，A事件发生的概率与B事件有关②第二种情况，A事件发生的概率与B事件无关考虑离散情况，期望值的定义如下：从定义来看就是变量值和其对应的概率的乘积，在整个定义域上的求和，简单说就是以概率为加权系数的求和。白话的解释就是在长时重复观测下，实现目标数据的平均值。

特征值和特征向量的定义，对于一个非零向量x和一个矩阵A，如果有标量入使得:则称入为A的特征值,x为对应的特征向量。从定义来看，特征向量的意思就是说对经过变换后，这个向量并没有发生方向的变化(或是完全反向，如果入为负值的话)。我们来直观感受一下特征向量和特征值的几何含义，为方便讨论，以单位向量为例，考虑如下矩阵:这个矩阵变换的特征向量分别为(-1/√2，-1/√2)和(-1/√5，-2/√5)，对应的特征值分别是2和3。首先来看看向量(1,0)和(0,1)经过变换后的情况，如图2-10所示。

线性变换是指具有如下性质的函数T：对于向量u和v，叫做加性（additivity），通俗来说就是两个向量的和经过变换后等于两个向量经过变换后的和。对于标量a、向量u和v叫做齐性（homogeneity），意思是给一个向量缩放一个倍数在变换和变换后再缩放这个倍数结果是一样的。一般来说，在机器学习和视觉中最常遇到的线性变换是矩阵乘法，也就是如下形式的线性变换。

在一些复杂任务中，传统机器学习方法需要将一个任务的输人和输出之间人为地切割成很多子模块(或多个阶段)，每个子模块分开学习.比如一个自然语言理解任务，一般需要分词、词性标注、句法分析、语义分析、语义推理等步骤。这种学习方式有两个问题：①每一个模块都需要单独优化，并且其优化目标和任务总体目标并不能保证一致。②错误传播，即前一步的错误会对后续的模型造成很大的影响。图片分类具体指的是通过使用深度学习方法让计算机能够对输入图片的信息进行分析、处理并判定图片所属的类别。