tf学习(四)—— 损失函数

本文介绍了TensorFlow中常用的两种损失函数——二次代价函数(均方误差MSE)和交叉熵代价函数。二次代价函数适用于一般预测问题,而交叉熵代价函数在处理分类问题尤其是涉及S型曲线时更为合适。在TensorFlow中,通过`tf.reduce_mean(tf.square(y - prediction))`计算均方误差,`tf.nn.softmax_cross_entropy_with_logits`则用于计算交叉熵,需要注意的是,logits应为未经过softmax处理的值。
摘要由CSDN通过智能技术生成

经典的损失函数有四种,也可以自己定义损失函数

有几种不同的代价函数,不同的代价函数适用于不同的场景

有二次代价函数,交叉熵代价函数(适用于s型曲线,选择合适的代价函数,可节省训练时间),对数似然代价函数




# 二次代价函数(又叫均方误差(MSE  ))

# loss = tf.reduce_mean(tf.square(y - prediction))

计算公式如下:

                         

其中yi为一个batch中第i个数据的正确答案,而y′为神经网络给出的预测值。

Tensorflow中实现均方误差损失函数:

mse = tf.reduce_mean(tf.square(y_ - y)),

其中输入为矩阵,输出为一个数



#交叉熵代价函数

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels

Huber损失函数是一种平滑的平均绝对误差损失函数,对数据中的异常点不像平方误差损失函数那样敏感。它在误差较小时变为平方误差,误差较大时变为绝对误差。Huber损失函数的超参数δ(delta)控制了误差降到多少时转变为平方误差。当误差在\[-∞,δ\]和\[δ,+∞\]之间时,Huber损失函数等价于绝对误差损失函数(MAE),而在\[0-δ,0+δ\]之间时等价于平方误差损失函数(MSE)\[1\]。 要实现Huber损失函数,可以使用以下公式: L(y, f(x)) = 0.5 * (y - f(x))^2, if |y - f(x)| <= δ δ * |y - f(x)| - 0.5 * δ^2, otherwise 其中,y是真实值,f(x)是模型的预测值,δ是超参数,表示误差的阈值。当|y - f(x)|小于等于δ时,使用平方误差;当|y - f(x)|大于δ时,使用绝对误差,并加上一个惩罚项0.5 * δ^2\[1\]。 通过这个公式,可以计算每个样本的Huber损失,并将所有样本的损失求平均,作为模型的损失函数。在训练过程中,可以使用梯度下降等优化算法来最小化Huber损失函数,以求得最优的模型参数\[3\]。 #### 引用[.reference_title] - *1* [tf.keras.losses.Huber 损失函数 示例](https://blog.csdn.net/weixin_44493841/article/details/121510638)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [机器学习02——回归问题中的损失函数 (L2损失L1损失Huber损失函数)](https://blog.csdn.net/u014005758/article/details/88958683)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值