![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
文章平均质量分 85
神经网络的基础性理解
燃烧吧哥们
这个作者很懒,什么都没留下…
展开
-
深度学习深入理解——介绍
卷积神经网络的深入理解由于内容比较多,且要持续更新,这篇博客是一个总的目录。这里简单对博客进行一下说明,博客包含很多内容,除了对卷积过程的理解,还详细理解了损失,正则化,梯度更新,模型评测指标等方法,并会持续更新总结相关方法,内容比较多,如有错误请大家及时指正。有些公式是用PPT画的(之前不会用CSDN的公式编辑器),之后会慢慢替换...原创 2022-01-19 10:53:19 · 338 阅读 · 0 评论 -
卷积神经网络实战——表情识别(Pytorch)超详细理解,含Pyqt5的可操作界面
卷积神经网络实战——表情识别前面六篇文章详细介绍了神经网络的基础,下面就一个简单的识别案例对前六章进行一个总结(可能有人对前六章在具体的网络中是干什么的有疑惑)。原创 2022-03-13 20:44:16 · 6966 阅读 · 21 评论 -
卷积神经网络的深入理解-评测指标篇(PR曲线,ROC曲线,AUC面积,IOU,AP含实例)
卷积神经网络的深入理解-评测指标篇绪论什么是评测指标?分类任务评测指标1、准确率/召回率/精确度/F1-score2、Precision/Recall(P-R)曲线3、ROC曲线那么该选择PR曲线还是ROC曲线呢?4、AUC面积回归任务评测指标绪论这一篇主要是介绍一下模型的评测指标,与上几篇文章一样都会持续更新。什么是评测指标?评测指标是用来定量衡量模型的性能的,是作为各种方法比较的一个标准。评测指标可以分为分类任务的评测指标和回归任务的评测指标下面会详细介绍两种任务的评测指标。分类任务评测指原创 2022-01-19 17:07:09 · 7460 阅读 · 0 评论 -
卷积神经网络的深入理解-最优化方法(梯度下降篇)(持续更新)
卷积神经网络的深入理解-最优化方法(梯度下降方法)(持续更新)一、更新方向1、随机梯度下降SGD2、动量法3、Nesterov accelerated gradient法(NAG法)二、更新学习率1、Adagrad法三、更新学习率+更新方向1、Adam法说起最优化方法,我们首先要知道优化目标是什么,优化目标有凸函数和非凸函数两种,而我们要尽可能的寻找相对小的值凸函数全局最小值=局部最小值非凸函数包含许多局部最小值那么更新方式有几种呢,就如我们下山一样,取决于我们所走的方向和每一步所走的距离,即学原创 2022-01-19 12:07:16 · 3025 阅读 · 0 评论 -
卷积神经网络的深入理解-正则化方法篇
卷积神经网络的深入理解-正则化方法篇正则化方法(持续补充)一、显式正则化方法1、模型集成2、Dropout技术(神经元)3、参数正则化方法二、隐式正则化方法正则化方法(持续补充)为防止网络模型出现过拟合这种情况,网络训练中引入了正则化方法。一、显式正则化方法包含对网络结构、损失函数的修改,模型使用方法的调整1、模型集成模型集成包含两部分:1、训练多个模型进行结果融合;2、多次使用不同的数据(训练集测试集选择)训练模型进行结果融合。2、Dropout技术(神经元)训练时按概率p随机丢弃部分原创 2022-01-19 11:46:12 · 3511 阅读 · 0 评论 -
卷积神经网络的深入理解-优化目标(损失函数)篇
卷积神经网络的深入理解-优化目标(损失函数)篇优化目标-损失函数(持续补充)一、分类任务损失1、0-1损失2、KL散度 & 交叉熵损失(cross entropy loss)& softmax loss(1)信息熵(2)KL散度(相对熵)(3)交叉熵损失(cross entropy loss)那么为什么很多网络模型中使用交叉熵作损失函数呢?(4)Softmax 损失函数(Softmax loss)二、回归任务损失1、L1/L2-loss & Huber loss & smoo原创 2022-01-19 11:29:42 · 5380 阅读 · 0 评论 -
卷积神经网络的深入理解-归一化篇(Batch Normalization具体实例)
卷积神经网络的深入理解-归一化篇标准化/归一化(神经网络中主要用在激活之前,卷积之后)(持续补充)归一化在网络中的作用1、线性归一化(进行线性拉伸,可以增加对比度)2、零均值归一化((像素值-均值)/方差)3、Batch Normalization(批标准化方法)Batch Normalization的好处(提高训练速度,稳定模型训练):Batch Normalization的缺点及改进4、其它归一化方法标准化/归一化(神经网络中主要用在激活之前,卷积之后)(持续补充)归一化在网络中的作用1、去除量纲原创 2022-01-19 11:17:06 · 7257 阅读 · 0 评论 -
卷积神经网络的深入理解-基础篇(卷积,激活,池化,误差反传)
卷积神经网络的深入理解-基础篇一、卷积(convolution)1、无padding时2、有padding时3、卷积与全连接通道数(一般一张彩色图像为三通道RGB)二、激活(激活函数)(持续补充)代码块(做图的代码):1、Sigmoid2、tanh3、ReLU4、Leaky ReLU三、池化(池化层)四、全连接五、误差反传之前对MP模型、单层感知器、多层感知器(BP)的基础进行了理解,接下来写一下对卷积神经网络的理解。卷积神经网络(CNN)由卷积(convolution), 激活(activation),原创 2022-01-19 11:09:12 · 3313 阅读 · 0 评论 -
MP模型、单层感知器、多层感知器的理解
神经网络基础神欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入神欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mark原创 2021-10-20 18:47:43 · 7787 阅读 · 0 评论 -
为什么模型训练要采用梯度下降
梯度下降1、什么是梯度1、变化率最快的方向对于一元函数来说(这里X0处左右极限存在且相等)对于多元函数来说关于梯度下降,相信很多小伙伴都知道,模型训练中梯度方向是函数变化率最快的方向,这是用于优化模型的一个重要原因。但是梯度方向为什么是函数变化率最快的方向?相信很多人不知道,这里是我参照B站上深度之眼的一篇文章给出自己的理解,也希望自己在深度学习这条路上走的更远。1、什么是梯度从微积分层面上来说梯度就是函数求导,对于一元函数来说梯度就是导数:那么多元函数便是偏导数了:1、变化率最快的方向对于原创 2021-10-15 18:20:40 · 1104 阅读 · 0 评论