深度学习记录（感知机）

1、在感知机里面有两个超参数：隐藏层数和每层隐藏层的大小。
2、输出不需要加激活函数
3、多层感知机里面隐藏层的大小逐渐收缩。压缩太狠会损失一些信息。
4、多层感知机使用隐藏层和激活函数得到非线性模型。
5、常用的激活函数sigmoid tanh relu（用的多一点）
6、使用software来处理多分类问题
7、验证数据集和测试数据集不能混到一起
8、没有足够多的数据使用时 可以用K折交叉验证，K常取10或5，最后取误差的平均。
10、
过拟合：模型容量高，数据简单
欠拟合：模型容量低，数据复杂
正常：模型容量与数据复杂度匹配。
11、模型容量：
低容量：难以拟合训练数据
高容量：可以记住所有的训练数据
12、SVM不能做大量数据，但是有严格的数学支撑。
13、标准化：减去均值，除以方差
14、权重衰退防止过拟合。：使用均方范数作为硬性限制。
15、正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，降低学习到的模型的复杂度。
16、数据存在噪声。
17、合理的权重初始值和激活函数的选取可以提升数值稳定性