过拟合（overfitting）1、什么是过拟合？训练模型的时候记住太多training data的细节从而降低了generalization的能力。在训练集上表现很好，在测试集上表现差。（通俗的例子：准备面试的时候把网上的面试题背的很熟，但真的面试的时候考官换个方式问就不会回答。不能举一反三）2、出现过拟合的原因？（1）数据有噪声假设一个真实的总体数据是一个线性模型（y = kx+b）而如果训练...

1、什么是欠拟合？模型没能很好的捕捉到数据特征，拟合效果不好，在训练数据和未知数据上表现都很差。2、怎么解决欠拟合？（1）增加特征项欠拟合有可能是特征项不够，可以通过“组合”、“泛化”、“相关性”等的操作来添加特征项（2）添加多项式特征例如上图中添加二次项，增加模型复杂度，能更加拟合数据（3）减少正则化参数和过拟合相反，出现欠拟合就要减少正则化参数（4）具体问题而言如在决策树中扩展分支；在神经网络...

1、什么是激活函数？在神经元中，输入input，通过加权求和之后再通过了一个函数的变换处理，这个函数就是激活函数（Activition Function）2、激活函数的作用？模型的表达能力不够，引入激活函数是为了添加非线性因素。不添加激活函数的时候，无论多少层网络输出都是线性方程添加了激活函数之后就可以解决类似下图这样一些线性不可分的情况：通用近似定理：单隐层神经网络只要隐层神经元的个数足够多，可...

1、梯度下降算法步骤：a. 用随机值初始化权重和偏差b.把输入传入神经网络得到输出值c.计算预测值和真实值之间的误差d.对每一个产生误差的神经元调整相应的权重值，以减小误差e.重复迭代，直到得到最佳权重2、把数据传入神经网络之前需要做一系列数据预处理（旋转、平移、缩放）工作，神经网络本身不能完成这些变换3、Bagging操作和神经网络中的Dropout类似，Bagging（装袋方法，和boosti...

1、什么是卷积：图像中不同数据窗口的数据和卷积核（一个滤波矩阵）作内积的操作叫做卷积。其计算过程又称为滤波（filter)，本质是提取图像不同频段的特征。2、什么是卷积核：也称为滤波器filter，带着一组固定权重的神经元，通常是n*m二维的矩阵，n和m也是神经元的感受野。n*m 矩阵中存的是对感受野中数据处理的系数。一个卷积核的滤波可以用来提取特定的特征（例如可以提取物体轮廓、颜色深浅等）。通过...

目录：part I ：来源part II ：应用part III ：作用（降维、升维、跨通道交互、增加非线性）part IV ：从fully-connected layers的角度理解一、来源：[1312.4400] Network In Network （如果1×1卷积核接在普通的卷积层后面，配合激活函数，就可以实现network in network的结构了。）二、应用：GoogleNe...

1、什么是池化？我们之所以使用卷积后的特征，是因为图像具有“静态型”的属性，也就意味着在一个图像区域的特征极有可能在另一个区域同样适用。所以，当我们描述一个大的图像的时候就可以对不同位置的特征进行聚合统计（例如：可以计算图像一个区域上的某个特定特征的平均值 or 最大值）这种统计方式不仅可以降低纬度，还不容易过拟合。这种聚合统计的操作就称之为池化，或平均池化、最大池化。2、池化的作用？（1）保留主...