深度学习
文章平均质量分 94
NODIECANFLY
这个作者很懒,什么都没留下…
展开
-
分类准确率和交叉熵损失的变化关系
目录1. 背景2. 基本概念2.1 准确率2.2 交叉熵损失3. 两者之间的变化关系4. 引用1. 背景最近做实验(分类问题)的过程中发现,随着训练集的平均交叉熵损失(Average Cross Entropy,ACE)降低,验证集ACE升高时,分类模型的准确率(Accuracy,ACC)也会出现升高的情况。在栈溢出上也看到了同样类似的问题2. 基本概念2.1 准确率准确率:在分类问题中,准确率的定义简单粗暴,就是看预测的类别是否和真实的类别一致。在分类任务中,对于一个N类任务,输出就是一个原创 2021-11-22 22:25:32 · 3090 阅读 · 2 评论 -
CNN模型的计算量、参数、显存占用
经典CNN模型的计算量、参数、显存占用文章目录经典CNN模型的计算量、参数、显存占用1. 深度学习复杂度2. FLOPS概念3.参数量计算4. 输出特征图尺寸5. 常用模型的FlOPs和参数量6. 参数量和占用GPU显存的关系1.基础知识:2. 显存去哪了3. 优化器和动量4. 模型中各层对显存的占用5. 额外的显存6.如何优化7.参考引用1. 深度学习复杂度通常用Forward Pass计...原创 2019-11-01 11:52:39 · 12048 阅读 · 4 评论 -
Naturalness-Aware Deep No-Reference Image Quality Assessment
自然感知深度无参考图像质量评估Abstract在本文中,我们提出了一种新的基于深度神经网络的NR-IQA多任务学习方法。我们提出的网络是通过多任务学习方式设计的,包括两个任务,即自然场景统计(NSS)特征预测任务和质量分数预测任务。NSS特征预测是一项辅助任务,它有助于质量得分预测任务学习输入图像与其质量得分之间更好的映射。这项工作的主要贡献是将NSS特征预测任务集成到基于深度学习的图像质量预...原创 2019-03-16 10:47:06 · 1508 阅读 · 7 评论 -
Relational inductive biases, deep learning, and graph networks
Abstract就像生物学利用自然和培养合作一样,我们拒绝在“手工工程”和“端到端”学习之间做出错误的选择,而是主张从其互补优势中获益的方法。我们探索如何在深度学习架构中使用关系归纳偏差来促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建块,具有强大的关系归纳偏差|图形网络|它概括和扩展了在图形上运行的神经网络的各种方法,并为操纵结构化知识和生成结构化行为提供了直接的界面...原创 2019-02-16 13:57:03 · 1410 阅读 · 0 评论 -
Structural Image Classification with Graph Neural Networks
1. Project Aims通过将图像表示为无向图来利用区域之间的模式和关系。使用最近提出的Graph Neural Networks [1]模型来处理结构化数据的分类:2. Image Structure as Graphs图像的结构上下文可以表示为图G = {N,E},其中N(节点)对应于感兴趣区域,E(边缘)对应于两个不同区域之间的连接。图1说明了所考虑的结构表示。Reg...原创 2019-01-31 19:32:06 · 434 阅读 · 1 评论 -
COMPUTATIONAL MODELLING OF VISUAL ATTENTION
最近关于焦点视觉注意力计算模型的工作出现了五个重要趋势,强调了自下而上,基于图像的注意力部署控制。首先,刺激的感知显着性关键取决于周围环境(可能指图片中某一部分内容的视觉显著性是和周围背景有关的,怎么区分背景和显著性区域)。其次,一个独特的“显着性图”在地形上编码了视觉场景中的刺激显着性,已被证明是一种有效且可信的自下而上的控制策略(不懂)。第三,抑制返回,即防止当前参加的位置再次被关注的过程,是...原创 2019-01-18 20:44:51 · 1025 阅读 · 0 评论 -
Direct Line Guidance Odometry
直线导航测距Shi-Jie Li, Bo Ren, Yun Liu, Ming-Ming Cheng, Duncan Frost, Victor Adrian PrisacariuICRA2018SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图...原创 2019-01-18 20:44:21 · 642 阅读 · 0 评论 -
Holistically-Nested Edge Detection
自然图像的边缘检测11月30日Holistically-Nested Edge Detection整体嵌套边缘检测Abstract我们开发了一种新的边缘检测算法,解决了这个长期存在的视觉问题中的两个重要问题:(1)整体图像训练和预测; (2)多尺度,多层次的特征学习。我们提出的方法,整体嵌套边缘检测(HED),通过深度学习模型执行图像到图像预测,该模型利用完全卷积神经网络和深度监督的...原创 2019-01-18 20:42:57 · 1777 阅读 · 0 评论 -
注意力方面好的想法
Batch Normalization应用原创 2018-12-11 10:36:56 · 739 阅读 · 0 评论 -
神经网络总结(二)
文章目录Setting up the data and the model1.Data Preprocessing![在这里插入图片描述](https://img-blog.csdn.net/20181025151502551?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L05PRElFQ0FORkxZ/font/5a6L5L2T/fontsize/4...原创 2018-10-25 20:58:40 · 507 阅读 · 0 评论 -
卷积神经网络结构总结(一)
10.17常规的神经网络传统的神经网络并不能很好的适配输入图像的大小,如2002003的图像,在传统的神经网络中使用全连接层,每个神经元需要学习的权重矩阵就有120,000(2002003)个,并且传统网络中还有很多个神经元,所以全连接的方式十分浪费资源并且会很快造成过度拟合(overfitting)。卷积神经网络3D体积的神经元,CNN的每一层的神经元在3D尺度上(the layers ...原创 2018-10-17 22:34:01 · 1498 阅读 · 0 评论 -
cs231n assignment1 梯度下降详解
1. 梯度下降目标函数:中h(x)为我们的模型预测结果,其中规定x0=1, θ(0~n)为该函数的参数,即我们通过损失函数需要调整的内容。y为准确结果,损失函数如下(均方):梯度下降法:需要同时更新θ1,θ2,…,θn,的值步长问题:在步长α的选取过程中,太小会造成下降速度过慢,太大会造成抖动,可能到不了谷底。解决方法:距离谷底较远(梯度较大的位置),步幅大一些;接近谷底的位置...原创 2018-10-05 20:06:03 · 580 阅读 · 0 评论 -
softmax分类器损失函数求导
原创 2018-10-12 10:12:24 · 1043 阅读 · 0 评论 -
cs231n assignment1 SVM详解
1. 图像的预处理问题->为什么要减去均值图像这里涉及到了图像处理中常用的归一化问题。数据预处理中,标准的第一步是数据归一化。虽然这里有一系列可行的方法,但是这一步通常是根据数据的具体情况而明确选择的。特征归一化常用的方法包含如下几种:简单缩放逐样本均值消减(也称为移除直流分量)特征标准化(使数据集中所有特征都具有零均值和单位方差)https://blog.csdn.net/原创 2018-10-02 17:02:27 · 4344 阅读 · 3 评论