《生成式深度学习》Generative Deeping Learning 笔记 第二章 深度学习

本文介绍了深度学习中常见的损失函数,包括MSE、分类交叉熵和二元交叉熵,以及如何根据问题类型选择合适的损失函数。此外,讨论了优化器如Adam和RMSProp,并提到了批量大小和学习率的影响。还涉及了卷积层的输出尺寸计算、批归一化的作用以及如何解决过拟合问题,包括正则化和dropout的使用。
摘要由CSDN通过智能技术生成

书本资源:链接:https://pan.baidu.com/s/1bUbQEndrHHWlRB_Cp_f7NA  提取码:rfit 
基于keras和tensoflow框架来写的。

 

1. 三种最常用的损失函数:MSE(均方差),categorical cross-entropy(分类交叉熵), and binary cross-entropy(二元交叉熵)。

    选择依据:

   (1)若你的神经网络是设计来解决一个回归问题(比如:输出是连续的),那么你可以使用均方差

             这是对于每一个输出单元的真实值yi和预测值pi之间的平均方差:MSE=\frac{1}{n}\sum_{i=1}^{n}\left ( y_{i}-p_{i} \right )^{2}

   (2)若是分类问题,且每个观察只属于一类,那么选择分类交叉熵:-\sum_{i=1}^{n}y_{i}\log\left ( p_{i} \right )

   ࿰

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值