tensorflow学习 损失函数与优化器

损失函数 loss

损失函数有sigmoid,softmax,softmoid和mse

sigmoid

一般应用于二分类场景
在tf中的写法是:binart_crossentropy

softmax

一般应用于多分类场景
在tf中的写法是:categorical_crossentropy

softmoid

一般应用于多标签
在tf中的写法是:binary_crossentropy

mse

无损失，一般应用于线性回归场景
在tf中的写法是:mse

优化器optimizer

优化器用于定位权重，选择恰当的优化器可以大幅提升性能和准确率。

梯度下降sgd

经常使用的sgd

adam

最新提出的优化器，性能很好。一般场景都推荐使用
rmsprop

介绍损失函数loss

• 二分类问题: 最后一层激活函数是 sogmoid,损失函数是binart_crossentropy
• 多分类问题：最后一层激活函数是 softmax,损失函数是categorical_crossentropy
• 多标签问题：最后一层激活函数是 softmoid,损失函数是binary_crossentropy
• 回归问题 ：最后一层没有激活函数,损失函数是 mse （均方差）