深度学习与计算机视觉一

先了解一些概率论知识
1.熵
熵在物理和信息论中都是一个重要的概念，是用来衡量一个分布的无序程度，熵的定义是：

熵和平均编码长度，熵代表着根据信息的概率分布对信息编码所需要的最短平均编码长度，
2.最大似然估计
似然函数是

比较直观的理解就是给定了观测到的数据，和分布的形式，把分布的参数作为输入，得到在该组参数下观测到的数据x在该分布下的概率，根据似然函数的描述，有一个很自然的问题，就是如果给定观测的数据和分布，然后才能找到一组参数，让分布的数据最大程度地吻和，最大似然估计就是解决这个问题。
3.KL散度
他的定义是：

把他展开就是：

熵是代表信息量的，而H§则是代表基于P分布自身的编码程度，也就是最优的编码程度，而H(P,Q)则代表用P的分布去Q分布的信息，自然需要更多的编码长度，并且两个分布差异越大，需要编码的长度也越大，所以两个值想减是大于等于0的一个值，代表冗余的编码长度，也就是两个分布差异的程度。
4.KL散度和MLE的联系
KL散度表示的是两个分布的差异，所以最小化KL散度是等效于MLE的，他的展开式是：

所以看到，第一项除了前面的系数-1/n和后面的一项H§，其实就是对数似然函数，这样最小化KL散度和MLE就建立了联系。

4.维度的诅咒
他的意思就是，在高维的世界里，有许多低维空间中顺理成章的事情不再成立，并且由于很难形象理由，这些高维度中的变换往往是让人感到非常头痛的，这就是维度的诅咒。

4.1采样和维度
使用蒙特卡洛方法来实现在高维度下采样和求解积分，先用蒙特卡洛生成和单位圆外切的正方形中的样本，再判断到原点的距离保留下在圆内部的样本。

4.2 中心极限定理和高维样本距离分布的近似
因为随着维度的增加，在超球体内部的样本到中心距离的分布是呈现指数上升趋势的，也就是在原点附近的样本数量是急速下降的，可以理解为，在高维空间中的超立方体中的均匀采样，每个点到原点的距离都是差不多的。

5.PCA——什么是主成分
使用了Principal Component Analysis 也就是主成分分析。他也可以通过本征向量和本证值去求主成分以及通过主成分分析降维，最后是归一化和相关性系数。

1.PCA是线性降维手段中非常经典的一种，为引入非线性，人们想出了在求协方差之前先做一次非线性变换，在求协方差矩阵的办法。
2.PCA是一种基于数据本身的分布进行降维的手段，算是无监督的，如果已经知道了数据的类别，一个思路就是让原始数据经过投影之后，在低维空间上不同类别的分布中心尽可能远离。

6.卷积
首先由点积和卷积两种形式

上面就是三组不同的向量求点积的结果。从直观上来看，是形状越是相似的两个向量，点积得到的值倾向越大。
6.1一维卷积
对于离散信号的定义是：

在卷积核展开之后，每次位置移动就相当于所有元素向右移动了一个位置，因为第二次已经移动到了矩阵的右边缘，所以下一个位置核换行了，这种矩阵的原型是一种叫托普利兹矩阵，也就是矩阵对角线，以及对角线平行的元素都相等的矩阵，总之就是把卷积核移动位置通过矩阵每一行元素位置的移动来实现。