个人总结知识点
1.问:为什么y=wx明明是一个矩阵,而损失函数是一个值
2,问:支持向量机SVM与逻辑回归的关系
SVM把逻辑回归的sigmoid函数换成核函数,损失函数由平均交叉熵换成了不同分类的距离间隔
3,问:深度学习与逻辑回归的区别
在计算y=wx时,将逻辑回归的函数变成几十个函数的嵌套,然后利用链式求导法则对嵌套的几十个函数进行反向求导,得出损失函数
4,问:过拟合的原因
过多的参数
5,问:深度学习中需要调的参数
正则化系数,卷积核的权值,学习率等
6,问:过拟合的解决方法
1,dropout 2,使用池化(减少了参数) 3,加入L1,L2正则化,批正则化 4,数据增强 5,迁移学习 6,多个神经网络结果平均 7,RNN时,调试阶段提前终止训练 8,对抗训练 9,稀疏编码 10,流型正切
书本知识点总结
1,关于权值共享的通俗解释
2,BP反向传播的自动求导的过程
3.sigmoid函数实现二分类的原理
4,逻辑回归/深度学习这些的大致工作原理和过程
5,如何根据预测y和实际y的差别更新参数w
6,L1,L2正则化的区别
书本43页
7,opencv提取图像边缘的算法
8,1X1卷积层的作用
9,反卷积的实质
实质就是将原矩阵扩大后中间补0,然后对扩大后的矩阵做卷积。
10,学习率调整方法
11,VGG16的特征提取部分只使用了3X3的卷积核,以及2X2的池化层
12,提高检测精度的几种方法