AI算法题--2

深度可分离卷积操作流程：

正常卷积核是对3个通道同时做卷积。也就是说，3个通道，在一次卷积后，输出一个数。
深度可分离卷积分为两步：
第一步用三个卷积对三个通道分别做卷积，这样在一次卷积后，输出3个数。
这输出的三个数，再通过一个1x1x3的卷积核（pointwise核），得到一个数。
所以深度可分离卷积其实是通过两次卷积实现的。
第一步，对三个通道分别做卷积，输出三个通道的属性：

第二步，用卷积核1x1x3对三个通道再次做卷积，这个时候的输出就和正常卷积一样，是8x8x1：

如果要提取更多的属性，则需要设计更多的1x1x3卷积核心就可以(图片引用自原网站。感觉应该将8x8x256那个立方体绘制成256个8x8x1，因为他们不是一体的，代表了256个属性)：

可以看到，如果仅仅是提取一个属性，深度可分离卷积的方法，不如正常卷积。随着要提取的属性越来越多，深度可分离卷积就能够节省更多的参数。

跨卡同步BN：

现有的标准 Batch Normalization 因为使用数据并行（Data Parallel），是单卡的实现模式，只对单个卡上对样本进行归一化，相当于减小了批量大小（batch-size）。 对于比较消耗显存的训练任务时，往往单卡上的相对批量过小，影响模型的收敛效果。 之前在在图像语义分割的实验中，就发现使用大模型的效果反而变差，实际上就是BN在作怪。 跨卡同步 Batch Normalization 可以使用全局的样本进行归一化，这样相当于‘增大‘了批量大小，这样训练效果不再受到使用 GPU 数量的影响。
内部协转移（Internal Covariate Shift）：由于训练时网络参数的改变导致的网络层输出结果分布的不同。这正是导致网络训练困难的原因。

因此提出了两种简化方式来加速收敛速度： （1）对特征的每个维度进行标准化，忽略白化中的去除相关性； （2）在每个mini-batch中计算均值和方差来替代整体训练集的计算。
BN前向过程如下：

BN反向过程如下：

原理：
BN 有效地加速了模型训练，加大 learning rate，让模型不再过度依赖初始化。它在训练时在网络内部进行归一化（normalization）， 为训练提供了有效的 regularization，抑制过拟合，用原作者的话是防止了协方差偏移。这里上一张图来展示训练模式的BN：

其中输入样本，其均值为，方差为， BN的输出，是可学习对参数。 个人认为，这种强大的效果其实来自于back-propagation时候，来自于均值和方差对输入样本的梯度( )。 这也是BN在训练模式与其在测试模式的重要区别，在测试模式（evaluation mode）下， 使用训练集上累积的均值和方差，在back-propagation的时候他们对输入样本没有梯度（gradient）。
从表面效果上来讲，Canny算法是对Sobel、Prewitt等算子效果的进一步细化和更加准确的定位。

Canny算子原理：

Canny算法基于三个基本目标：
1.低错误率。所有边缘都应被找到，且没有伪响应。
2.边缘点应该被很好地定位。已定位的边缘必须尽可能接近真实边缘。
3.单一的边缘点响应。这意味在仅存一个单一边缘点的位置，检测器不应指出多个像素边缘。

进而，Canny的工作本质是，从数学上表达前面的三个准则。

(1)图象边缘检测必须满足两个条件：一能有效地抑制噪声；二必须尽量精确确定边缘的位置。
(2)根据对信噪比与定位乘积进行测度，得到最优化逼近算子。这就是Canny边缘检测算子。
(3)类似与Marr（LoG）边缘检测方法，也属于先平滑后求导数的方法。

Canny 的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：

(1)好的检测 - 算法能够尽可能多地标识出图像中的实际边缘。
(2)好的定位 - 标识出的边缘要尽可能与实际图像中的实际边缘尽可能接近。
(3)最小响应 - 图像中的边缘只能标识一次，并且可能存在的图像雜訊不应标识为边缘。

过拟合的解决办法：

1.重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的
2.增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的
3.采用正则化方法。正则化方法包括L0正则、L1正则和L2正则，而正则一般是在目标函数之后加上对于的范数。
4.采用dropout方法。这个方法在神经网络里面很常用。
5.使用权值衰减的方法，即每次迭代过程中以某个小因子降低每个权值。

Word2vec具体实现过程：

(1) 分词 / 词干提取和词形还原。 中文和英文的nlp各有各的难点，中文的难点在于需要进行分词，将一个个句子分解成一个单词数组。而英文虽然不需要分词，但是要处理各种各样的时态，所以要进行词干提取和词形还原。
(2) 构造词典，统计词频。这一步需要遍历一遍所有文本，找出所有出现过的词，并统计各词的出现频率。
(3) 构造树形结构。依照出现概率构造Huffman树。如果是完全二叉树，则简单很多，后面会仔细解释。需要注意的是，所有分类都应该处于叶节点，像下图显示的那样

(4)生成节点所在的二进制码。拿上图举例，22对应的二进制码为00,而17对应的是100。也就是说，这个二进制码反映了节点在树中的位置，就像门牌号一样，能按照编码从根节点一步步找到对应的叶节点。
(5) 初始化各非叶节点的中间向量和叶节点中的词向量。树中的各个节点，都存储着一个长为m的向量，但叶节点和非叶结点中的向量的含义不同。叶节点中存储的是各词的词向量，是作为神经网络的输入的。而非叶结点中存储的是中间向量，对应于神经网络中隐含层的参数，与输入一起决定分类结果。
(6) 训练中间向量和词向量。对于CBOW模型，首先将词A附近的n-1个词的词向量相加作为系统的输入，并且按照词A在步骤4中生成的二进制码，一步步的进行分类并按照分类结果训练中间向量和词向量。举个栗子，对于绿17节点，我们已经知道其二进制码是100。那么在第一个中间节点应该将对应的输入分类到右边。如果分类到左边，则表明分类错误，需要对向量进行修正。第二个，第三个节点也是这样，以此类推，直到达到叶节点。因此对于单个单词来说，最多只会改动其路径上的节点的中间向量，而不会改动其他节点。

自己写的，可能不全或者有错，请见谅！！！

觉得可以的，麻烦关注一下，或者点一下赞，谢谢！！！