深度学习常用概念

线性回归 连续

常用激活函数 relu
常用损失函数 mse平方差

逻辑回归 0,1 分类(概率）

常用激活函数sigmoid
常用损失函数 交叉熵binary_crossentropy

softmax分类（概率）

多分类，样本分量之和为1
常用损失函数 交叉熵categorical_crossentropy(独热编码）,sparse_categorical_crossentropy（数字）

梯度下降法

致力于达到函数极值点的算法，损失函数增长最快的方向，梯度就是顺势函数相对参数变化率
学习速率：对梯度进行缩放的参数，太小 慢 太大 震荡

多层感知器

输入层 隐含层 输出层

反向传播

计算梯度，链式法则

优化函数

optimizer实例化对象后传入，通过可以名称调用
SGD:随机梯度下降优化器
RMSprop：处理序列问题，RNN
Adam:结合两者，学习率0.001

网络优化和超参数选择

网络容量：可训练参数多少，层，神经元个数

dropout抑制过拟合-减少网络规模…

过拟合：在训练数据上得分很高，测试数据上得分较低
欠拟合：在训练数据上得分比较低，测试数据上相对得分较低
dropout抑制过拟合：取平均，减少神经元之间复杂共适应关系

参数选择原则

1.开发一个过拟合模型
添加更多层，每一层更大，训练更多次
2.抑制过拟合（增加训练数据）
dropout 正则化 图像增强
3.调节参数
学习速率，隐藏层单元数，训练次数
注意交叉验证

降低过拟合方法

从数据入手

• 降低模型复杂度

模型

• 正则化方法
• 集成学习

降低欠拟合方法

添加新特征
增加模型复杂度
减小正则化系数