TensorFlow笔记

神经网络实现过程

• 数据准备
• 搭建网络
• 训练网络
• 预测

损失函数

• 预测值与已知答案的差距
• 均方误差
• 交叉熵误差：表征两个概率分布之间的距离
• 自定义

学习率

• 每次参数更新的幅度
• 指数衰减学习率

滑动平均

• 记录了每一个参数一段时间内过往值的平均，增加模型的泛化性。

正则化

• 在损失函数中引入模型复杂度指标，利用给W加权值，弱化训练数据的噪声，起到缓解过拟合作用。
• L1正则化
• L2正则化

CNN模型发展历史

Lenet-5、AlexNet、VGGNet、GoogleNet、ResNet

池化

• 用于减少特征数量
• 最大池化可提取图像特征，平均池化可保留背景特征。