神经网络学习-部分小tip

1、神经网络中，线性回归采用均方误差作为损失函数，逻辑回归（分类算法）采用交叉熵
2、神经网络中对数几率回归解决的是二分类问题，对于多个选项的问题可以使用softmax函数
3、神经网络的原始输出并不是一个概率值，实际上只是输入的数值做了复杂的加权和非线性处理之后得到的一个值。
4、神经网络中对于多分类问题，采用categorical_crossentropy以及sparse_categorical_crossentropy来计算softmax交叉熵。如果列表是数字编码，那么损失函数就使用sparse_categorical_crossentropy，独热编码时，损失函数使用categorical_crossentropy。
5、（超参数选择）单纯的增加神经元个数，对于网络性能的提高并不明显，但是增加层会大大提高网络的拟合能力。
6、单层的神经元个数不能太少，太少会造成信息瓶颈从而导致欠拟合。欠拟合需要增加神经元参数或者增加层数。
7、构建网络的总原则：
（1）增加网络容量，直到过拟合
（2）采取措施抑制过拟合
（3）继续增加网络容量直到过拟合
8、减小网络容量和增加训练数据都是可以抑制过拟合的方法