深度学习笔记（48） 内容代价函数

最新推荐文章于 2024-09-27 14:30:36 发布
最新推荐文章于 2024-09-27 14:30:36 发布
阅读量27 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 笔记 人工智能
原文链接：https://joveh-h.blog.csdn.net/article/details/100632857
版权
深度学习笔记（48） 内容代价函数

1. 激活函数值

风格迁移网络的代价函数有一个内容代价部分，还有一个风格代价部分

在这里插入图片描述

先定义内容代价部分，不要忘了这就是整个风格迁移网络的代价函数，看看内容代价函数应该是什么

  • 假如说，用隐含层

l l

l 来计算内容代价，如果

l l

l 是个很小的数，比如用隐含层1
这个代价函数就会使生成图片像素上非常接近内容图片

  • 然而如果用很深的层，那么那就会问，内容图片里是否有狗
    然后它就会确保生成图片里有一个狗

  • 所以在实际中，这个层

    l l

    l 在网络中既不会选的太浅也不会选的太深

    在具体例子里通常

    l l

    l 会选择在网络的中间层
    然后用一个预训练的卷积模型，可以是VGG网络或者其他的网络也可以

    在这里插入图片描述
    现在需要衡量假如有一个内容图片和一个生成图片在内容上的相似度
    令这个a[l][C] 和 a[l][G]，代表这两个图片C和G的

    l l

    l 层的激活函数值
    如果这两个激活值相似，那么就意味着两个图片的内容相似

    2. 内容代价函数

    定义这个：在这里插入图片描述

    为两个激活值不同或者相似的程度

    取l层的隐含单元的激活值，按元素相减，内容图片的激活值与生成图片相比较
    然后取平方，也可以在前面加上归一化或者不加
    比如1/2或者其他的，都影响不大，因为这都可以由这个超参数α来调整
    在这里插入图片描述

    要清楚这里用的符号都是展成向量形式的
    这个就变成了 a[l][C] 减 a[l][G] 的L2范数的平方
    展成向量后，这就是两个激活值间的差值平方和
    这就是两个图片之间

    l l

    l 层激活值差值的平方和

    后面如果对

    J ( G ) J(G)

    J(G)做梯度下降来找G的值时
    整个代价函数会激励这个算法来找到图像G,使得隐含层的激活值和内容图像的相似
    即维持网络的中间层内容图像C和生成图像G的激活函数值尽量相同

    参考：

    《神经网络和深度学习》视频课程

    相关推荐：

    深度学习笔记（47） 神经风格迁移
    深度学习笔记（46） 深度卷积网络学习
    深度学习笔记（45） 人脸验证与二分类
    深度学习笔记（44） Triplet 损失
    深度学习笔记（43） Siamese网络

    谢谢！

LeonDL168
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 25万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
神经网络与深度学习笔记——代价函数，规范化，过拟合
weixin_42194139的博客
03-26 1087
第三章改进神经网络的学习方法 3.1交叉熵代价函数 类似于人类试错过程，我们希望神经网络在预测的最终结果和我们想要的结果差距越大时，神经网络对权重和偏置的改变也越大，当慢慢接近真实结果时，改变变小。但是事实上神经网络的学习却是非常缓慢的，原因是我们采用的sigmoid函数两端变得非常平，代价函数对权重和偏置的偏导数变得很小，所以导致了学习缓慢。我们可以通过使用交叉熵代价函数在替...
深度学习记录（代价函数）
2301_80038325的博客
06-13 944
其中，𝛼 是学习率（learning rate），决定我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，太大了不好收敛，容易错过最小值，太小了效率太低，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。用于回归问题中，对异常值更具鲁棒性。其中，𝜃 是要更新的参数，𝛼 是学习率（learning rate），∇𝐽(𝜃) 是代价函数 𝐽(𝜃) 关于参数 𝜃 的梯度。其中，𝑚m 是样本数量，𝑦(𝑖)y(i) 是实际标签，ℎ𝜃(𝑥(𝑖))hθ​(x(i)) 是模型预测的概率。
深度学习基础笔记——激活函数
MengYa_Dream的博客
08-15 2897
1 激活函数的概念 2 激活函数意义 3 激活函数是非线性函数原因 4 常见的激活函数及导数 A sigmoid 激活函数 B tanh激活函数——双曲正切函数 C Relu激活函数——优先选择 D Leaky Relu激活函数（PReLU） E ELU激活函数 5 激活函数的性质 6 激活函数的选择 7 Softmax函数 A Softmax函数定义（以第 i 个节点输出为例） B Softmax函数求导 8 交叉熵代价函数定义及其求导推导
深度学习笔记（49） 风格代价函数
热门推荐
氢键H-H
09-11 1万+
风格相关系数、风格相关系数、风格代价函数：网络不同层风格图像S同样位置的激活项的乘积之和与生成图像G的L2范数的平方
神经网络与深度学习 笔记4 交叉熵代价函数 softmax函数
qq_35497808的博客
07-21 1095
1. 学习缓慢问题 二次代价函数,定义如下 其中 a 是神经元的输出,训练输入为 x = 1,y = 0 则是目标输出。显式地使用权重和偏置来表达这个,我们有 a = σ(z),其中 z = wx + b。使用链式法则来求权重和偏置的偏导数就有: σ 函数图像: 我们可以从这幅图看出,当神经元的输出接近 1 的时候,曲线变得相当平,所以 σ ′ (z) 就很小了
深度学习笔记-13.损失函数、代价函数、目标函数
12-26 3053
参考文章： https://blog.csdn.net/zhangdongren/article/details/83377272 https://blog.csdn.net/yukinoai/article/details/84197930 https://www.jianshu.com/p/b3dbf913b421 https://www.jiqizhixin.com/article...
吴恩达深度学习笔记
reno_yuan的博客
05-07 1662
你将学习本系列课程(专业): 神经网络和深度学习 改进深度神经网络:超参数调优、正则化和优化 构建你的机器学习项目吨/德 卷积神经网络端到端 自然语言处理:建立序列模型RNN,LSTM 我的目标 理解深度学习基本原理 常用算法 流程 常用术语 不求算术推导 不求算术推导 不求算术推导 使用深度学习框架 入门介绍 例1 房价预测模型 输入映射输出 监督学习有价值的 图像卷积序列 CNN 时间序列 语言序列 RNN RNNS 深度学习神经网络 数据量和质量处于第一序列胜过算法 算法主要加速学习速率如 si
3BLUE1BROWN深度学习笔记
weixin_72388482的博客
09-16 998
我们一般这么做：首先把训练样本打乱，然后分成很多组minibatch，然后算出minibatch下降的一步，这不是代价函数真正的梯度（计算真实梯度要用上所有的样本，而非子集），但每个minibatch都会给一个不错的近似，并且会大幅减少计算量。WQ矩阵内部的数值都是模型的参数，具体的行为模式是从数据中学得的。对每列应用softmax函数进行归一化，将归一化后的值填进网络，此时可以将每一列看作权重，表示左侧的键与顶部的查询的相关度。得到的一系列的权重偏置的平均微调大小，就是代价函数的负梯度，或其标量的倍数。
斯坦福无监督学习和深度学习教程中文笔记，UFLDL中文笔记
11-16
《斯坦福无监督学习和深度学习教程中文笔记》是一份详尽的学习资料，涵盖了监督学习、优化、神经网络以及无监督学习等核心概念。这份笔记是作者在学习斯坦福大学的Unsupervised Feature Learning and Deep Learning ...
吴恩达深度学习笔记（7）--逻辑回归的代价函数（Cost Function）
Harpoon_fly的博客
11-23 1563
逻辑回归的代价函数（Logistic Regression Cost Function） 在上一篇文章中，我们讲了逻辑回归模型，这里，我们讲逻辑回归的代价函数（也翻译作成本函数）。 吴恩达让我转达大家：这一篇有很多公式，做好准备，睁大眼睛！代价函数很重要！ 为什么需要代价函数： 为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归...
对比学习训练是如何进行的
qq_45809323的博客
09-25 540
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
weixin_38594676的博客
09-26 946
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
基于深度学习的图像修复算法
weixin_42605076的博客
09-26 589
基于深度学习的图像修复算法旨在通过学习和生成模型来填补图像中的缺失或损坏部分。
卷积神经网络（CNN）图像处理与识别原理
m0_73697499的博客
09-23 1290
图像在计算机中是以一系列0至255之间的数值组成的矩阵形式存储的，这些数值代表了像素点的亮度或色彩强度。而在彩色图像中，每个像素点通常由红（Red）、绿（Green）、蓝（Blue）三个通道的值组成，形成一个三维张量。卷积核是一个小的矩阵或张量，它在图像上滑动并与图像的局部区域进行点积运算，从而提取出图像的特征。图像不变性是指，即使图像中的物体发生位置、大小或旋转的变化，CNN仍能正确识别出该物体。感受野定义了神经元能够“看到”的输入数据的范围，它决定了网络可以捕捉到的特征的尺度。
机器学习和深度学习的区别
最新发布
萧鼎的博客
09-27 768
机器学习是一种利用统计方法从数据中学习规律并做出预测或决策的技术。其核心理念是：通过输入大量数据，模型可以发现数据中的模式，进而对新数据做出准确的预测。深度学习是机器学习的一个子领域，重点在于使用多层神经网络自动提取特征并进行预测。与传统机器学习不同，深度学习不需要人为设计特征，而是通过多个隐藏层自动学习数据的高层次表示。机器学习和深度学习虽然都是人工智能的核心技术，但它们在数据需求、特征提取、模型结构和计算资源等方面有着显著的区别。选择合适的技术取决于具体的任务场景和数据规模。
深度学习：卷积神经网络CNN
纸上得来终觉浅
09-23 1450
卷积神经网络CNN
【深度学习】（8）--神经网络使用最优模型
m0_74896766的博客
09-26 1044
本篇介绍了： 如何使用保存好的最优模型 加载模型的两种方法：1.加载模型状态字典；2.加载整个模型实例 注意：两种方法都需要提前定义神经网络结构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值