深度学习相关

张量和向量的区别:

张量：超过二维的数组，一般来说，一个数组中的元素分布在若干维坐标的规则网格中，被称为张量。向量：一个向量表示一组有序排列的数，通过次序中的索引我们能够找到每个单独的数。

CNN与DNN的区别:
DNN的输入是向量形式，并未考虑到平面的结构信息，在图像和NLP领域这-结构信息尤为重要，例如识别图像中的数字，同一数字与所在位置无关(换句话说任一位置的权重都应相同)，CNN的输入可以是tensor, 例如二维矩阵，通过filter获得局部特征，较好的保留了平面结构信息。

浅层VS深层:
浅层神经网络可以模拟任何函数，但数据量的代价是无法接受的。深层解决了这个问题。相比浅层神经网络，深层神经网络可以用更少的数据量来学到更好的拟合。深层的前提是:空间中的元素可以由迭代发展而来的。

对卡在局部极小值的处理方法: 
1.调节步伐:调节学习速率、使每次的更新“步伐”不同: 2:优化起点:合理初始化权重(weights iaitialization)心预训练网络eret train) s使网络获得一个较好的“起始点”如最右侧的起始 点就比最左侧的起始点要好e赏用方法有:高斯分布初始权重(Gaussian distribution)、均匀分布初始权重(Uniform distribution)、Glorot 初始权重、He初始权、稀疏矩阵初始权重(sparse matrix)。