深度学习
费马定理
这个作者很懒,什么都没留下…
展开
-
Early Stopping
转载自:https://www.datalearner.com/blog/1051537860479157 深度学习技巧之Early Stopping(早停法) 标签:#深度学习##深度学习技巧# 时间:2018/09/26 09:29:56 作者:小木 一、早停法简介(Early Stopping)二、如何使用早停法2.1、停止标准简介2.2、停止标准选择规则一、早停法简介(Early Stopping)当我们转载 2020-09-24 16:05:07 · 544 阅读 · 1 评论 -
对于矩阵操作中axis的理解,以及axis=-1的解释
转载自:https://blog.csdn.net/weixin_37821353/article/details/88367211 1. axis的基本使用 axis常常用在numpy和tensorflow中用到,作为对矩阵(张量)进行操作时需要指定的重要参数之一。设定axis=-1,0,1...,用来指定执行操作的数据如何划分。转载 2020-09-22 19:28:51 · 1971 阅读 · 1 评论 -
Dice Loss
转载自:https://zhuanlan.zhihu.com/p/86704421Dice Loss 最先是在VNet 这篇文章中被提出,后来被广泛的应用在了医学影像分割之中。1、Dice系数与Dice LossDice系数是一种集合相似度度量函数,通常用于计算两个样本的相似度,取值范围在[0,1]:其中 |X∩Y| 是X和Y之间的交集,|X|和|Y|分表表示X和Y的元素的个数,其中,分子的系数为2,是因为分母存在重复计算X和Y之间的共同元素的原因。Dice Loss:Laplace smoothing:转载 2020-08-20 14:59:00 · 4762 阅读 · 3 评论 -
深度可分离卷积
转载自:https://zhuanlan.zhihu.com/p/92134485一些轻量级的网络,如mobilenet中,会有深度可分离卷积depthwise separable convolution,由depthwise(DW)和pointwise(PW)两个部分结合起来,用来提取特征feature map相比常规的卷积操作,其参数数量和运算成本比较低常规卷积操作对于一张5×5像素、三通道(shape为5×5×3),经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4,最转载 2020-08-19 19:49:36 · 246 阅读 · 1 评论 -
关于感受野的相关计算
转载自:https://zhuanlan.zhihu.com/p/40267131感受野是卷积神经网络里面最重要的概念之一,为了更好地理解卷积神经网络结构,甚至自己设计卷积神经网络,对于感受野的理解必不可少。一、定义感受野被定义为卷积神经网络特征所能看到输入图像的区域,换句话说特征输出受感受野区域内的像素点的影响。比如下图(该图为了方便,将二维简化为一维),这个三层的神经卷积神经网络,每一层卷积核的 , ,那么最上层特征所对应的感受野就为如图所示的7x7。感受野示例[1]二、计算方式 其中 表示特征感转载 2020-07-17 11:15:25 · 527 阅读 · 1 评论 -
如何理解1*1卷积
转载自:https://blog.csdn.net/chaipp0607/article/details/60868689 我们都知道,卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野,当然随之而来的是更多的参数。早在1998年转载 2020-07-16 20:15:44 · 355 阅读 · 1 评论 -
Embedding的理解
转载自:https://zhuanlan.zhihu.com/p/46016518近年来,从计算机视觉到自然语言处理再到时间序列预测,神经网络、深度学习的应用越来越广泛。在深度学习的应用过程中,Embedding 这样一种将离散变量转变为连续向量的方式为神经网络在各方面的应用带来了极大的扩展。该技术目前主要有两种应用,NLP 中常用的 word embedding 以及用于类别数据的 entity embedding。此篇文章内容主要源自于 Neural Network Embeddings Explai转载 2020-07-16 14:57:13 · 927 阅读 · 1 评论 -
深度学习中的epochs,batch_size,iterations详解
转载自:https://blog.csdn.net/maweifei/article/details/80722097 深度学习框架中涉及很多参数,如果一些基本的参数如果不了解,那么你去看任何一个深度学习框架是都会觉得很困难,下面介绍几个新手常问的几个参数。batch深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更转载 2020-07-11 17:31:38 · 365 阅读 · 1 评论 -
深度学习之GPU、CPU、CUDA、Cudnn
我们知道做深度学习离不开GPU,不过一直以来对GPU和CPU的差别,CUDA以及cuDNN都不是很了解,所以找了些资料整理下,希望不仅可以帮助自己理解,也能够帮助到其他人理解。先来讲讲CPU和GPU的关系和差别吧。截图来自资料1(CUDA的官方文档): CPU &n...转载 2020-07-02 20:05:01 · 1428 阅读 · 0 评论 -
一文看懂神经网络的反向传播
转载自:https://blog.csdn.net/weixin_38347387/article/details/82936585 最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推导过程进行补充,但是补充的又是错的,难怪觉得有问题。反向传播法其实是神经网络的基础了,但是很多人转载 2020-07-02 16:40:43 · 305 阅读 · 0 评论 -
IOU loss详解
转载自:https://www.jianshu.com/p/e3bf67cd4459IoU损失DenseBox DenseBox是全卷积网络,网络的输出大小为(;输出feature map上的点确定一个检测框的样本,包含样本的信息度和该点到bounding box四边的距离。Unitbox 相对于DenseBox,Unitbox使用IoU损失替代传统的定位L2损失。IoU 损失示意图IoU损失的前向传播IoU损失前向传播伪代码本质上是对IoU的交叉熵损失,即将I转载 2020-07-01 09:39:29 · 4455 阅读 · 0 评论 -
Maxpooling的作用
转载自:https://blog.csdn.net/weixin_41513917/article/details/102514739 Max Pooling是什么在卷积后还会有一个 pooling 的操作。max pooling 的操作如下图所示:整个图片被不重叠的分割成若干个同样大小的小块(pooling size)。每个小块内只取最大的数字,再舍弃其他节点后,保持原有的平面结构得出 output。注意区分m转载 2020-06-22 09:43:40 · 2784 阅读 · 0 评论 -
GAN原始Loss解读
转载自:https://www.cnblogs.com/walter-xh/p/10051634.html GAN的原始损失函数,咋一看是非常难以理解的,但仔细理解后就会发现其简洁性和丰富的含义。 损失函数定义: 一切损失计算都是在D(判别器)输出处产生的,而D的输出一般是fake/true的判断,所以整体上采用的是二进制交叉熵函数。 左边包含两部分minG和maxD。 首先看一下maxD部分,因为训练一般是先保持G(生成器)不变训练D的。D的训练目标是正确区分fak转载 2020-06-21 17:07:26 · 1277 阅读 · 0 评论 -
小白都能看得懂的ResNet原理
转载自:https://blog.csdn.net/u014296502/article/details/80438616?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecas转载 2020-06-20 20:57:45 · 765 阅读 · 0 评论 -
什么是交叉熵损失
转载自:https://blog.csdn.net/b1055077005/article/details/100152102 交叉熵损失函数原理详解之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss),只知道它是分类问题中经常使用的一种损失函数,对于其内部的原理总是模模糊糊,而且一般使用交叉熵作为损失函数时,在模型的输出层总会接一个softmax函数,至于为什么要怎么做也是不懂,所以专门花了一些时间打算从原理入手,搞懂它,转载 2020-06-19 15:03:49 · 1117 阅读 · 0 评论 -
车牌识别数据集CCPD介绍
转载自:https://blog.csdn.net/yang_daxia/article/details/88234138 这是一个用于车牌识别的大型国内的数据集,由中科大的科研人员构建出来的。发表在ECCV2018论文Towards End-to-End License Plate Detection an...转载 2020-04-28 09:21:41 · 9705 阅读 · 0 评论 -
安装caffe遇到的“Undefined reference to ‘__cudaPopCallConfiguration’”问题
转载自:https://blog.csdn.net/hitlizhaoting/article/details/86562747 ubuntu16.04,按照网上好多教程一步步安装caffe时(安装cuda10.0),在sudo make all -j8报错如下:Undefined reference to...转载 2020-04-03 18:18:15 · 928 阅读 · 0 评论 -
Ubuntu安装caffe
转载自:https://blog.csdn.net/zjwson/article/details/78239265今天在按照常规的sudo apt-get update更新软件列表后,再使用sudo apt-get upgrade升级软件时,出现了以下的错误:正在设置 linux-image-extra-4.4.0-97-generic (4.4.0-97.120) ...run-part...转载 2020-04-03 15:09:54 · 157 阅读 · 0 评论 -
神经网络中出现过拟合的原因和几种解决方法
转载自:https://www.cnblogs.com/xumaomao/p/11079564.html过拟合产生的原因?过拟合的表现:模型在训练集上误差很小,在测试集上误差很大。过拟合主要由两个方面决定:一是数据集,二是模型。我认为过拟合问题目前来说只能减少不能避免。数据集角度:我们知道无论是机器学习还是深度学习,都是通过在训练集上做训练来最小化训练集上的损失函数来得到想要的模型,也...转载 2020-03-05 09:46:29 · 6623 阅读 · 0 评论 -
LSTM理解
转载自:https://blog.csdn.net/gzj_1101/article/details/79376798 title: ...转载 2019-12-17 20:39:43 · 493 阅读 · 0 评论 -
自编码器
转载自:https://blog.csdn.net/u011534057/article/details/53261920如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现,自动编码器就必须捕捉可以...转载 2019-11-12 10:54:33 · 254 阅读 · 0 评论 -
SVM多分类的几种方式
转载自:https://www.cnblogs.com/CheeseZH/p/5265959.html SVM实现多分类的三种方案 </h1> <div class="clear"></div> <div class="postBody"> SVM本身是一个二值分...转载 2019-10-30 20:21:25 · 3317 阅读 · 0 评论 -
吴恩达深度学习入门
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c2.详细笔记网站(中文):http://www.ai-start.com/dl2017/3.github课件+作业+答案:https://github.com/stormstone/deeplearning.ai...转载 2019-06-27 19:10:26 · 258 阅读 · 0 评论 -
什么是迁移学习 (Transfer Learning)?
深度神经网络,相比于之前的传统机器学习方法,可以看成是一个全新的物种,这背后的原因,最明显的还是深度学习对机器算力的巨大需求,在深度学习入门最少需要知道什么?中介绍了深度学习所需的显卡资源,而当前大内存的机器不贵,而高性能,大显存的显卡就没那么便宜了。这使得使用深度学习去处理实际生活中遇到的问题,例如图像和语音的识别时,需要消耗大量的资源。而迁移可以改变这一切,显著的降低深度学习所需的硬件资源。...转载 2019-06-28 09:53:36 · 15740 阅读 · 2 评论 -
前向传播算法(Forward propagation)与反向传播算法(Back propagation)
装载自:https://blog.csdn.net/bitcarmanlee/article/details/78819025加粗样式 ...转载 2019-07-18 10:33:37 · 183 阅读 · 0 评论 -
深度学习: pooling (池化 / 降采样)
源链接 https://blog.csdn.net/jningwei/article/details/78833319在知乎上面看到一个关于池化的神解释,摘来:出处:深度学习cnn中,怎么理解图像进行池化(pooling)后的平移不变性?池化=涨水卷积的目的是为了得到物体的边缘形状 可以...转载 2019-07-17 19:23:42 · 358 阅读 · 0 评论 -
深度学习中参数量与计算量的理解
转载自:https://www.cnblogs.com/lllcccddd/p/10671879.html接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算 参数量,如何统计 计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还是参数两,有什么好处 5 计算量,参数量分别对显存,芯片提出什么要求,我...转载 2019-07-28 16:33:55 · 1996 阅读 · 0 评论 -
神经网络中的BN理解
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 ...转载 2019-08-18 19:08:57 · 9119 阅读 · 0 评论 -
深度学习中的End to End
转载自:https://www.cnblogs.com/zeze/p/7798080.html End to end:指的是输入原始数据,输出的是最后结果,应用在特征学习融入算法,无需单独处理。end-to-end(端对端)的方法,一端输入我的原始数据,一端输出我想得到的结果。只关心输入和输出,中间的步骤全部都不管。 端到端指的是输入是原始数据,输出是最后的结果,原来输入端不是直...转载 2019-08-24 15:11:55 · 238 阅读 · 0 评论 -
CNN是如何进行图像特征提取的
转载自:http://www.sohu.com/a/277526497_100007727 对于即将到来的人工智能时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的领域,会不会感觉马上就out了?作为机器学习的一个分支,深度学习同样需要计算机获得强大的学习能力,那么问题来了,我们究竟要计算机学习什么东西?答案当然是图像特征了。将一张图像看做是一个个像素值组成...转载 2019-09-17 10:50:17 · 9555 阅读 · 1 评论