深度学习模型训练和优化以及Tensorflow基础
2. 将输出结果截图,和心得体会整理成一份markdown格式的文档,或输出为pdf格式,并提交。
输出结果:
心得体会:
模型结构的理解:
使用了全连接神经网络,适当运用隐藏层来提高计算量,使得输出结果更为准确,但是这样全连接的神经网络计算量太大,而且速度比较慢,不适合运用到更大的数据集中去训练。
模型训练过程的理解:
损失即为衡量神经网络的输出和ground truth有多大差异的值,损失函数即为计算损失的函数,又称为代价函数,误差函数
梯度即为损失函数对权重的导数,梯度下降即为根据梯度来更新权重,使损失函数变小的方法
更新参数即为训练模型时使用梯度下降更新W,直到满足模型终止要求的过程,训练step即为一次"计算梯度,更新权重"的过程。
梯度函数是损失函数的导函数。
对计算图的理解:
计算图是Tensorflow将算法转换为可视化的计算图标来更直观的表示出来计算流程,让开发者更好更高效的完成任务。然后经过会话Session进行计算输出数据。
这里的模型为什么效果比较差:
全连接神经网络计算数据量较大,速度较慢,
没有用更合适的梯度下降算法
学习率设置应适当训练中改变,是的学习率下降。