![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
北漂奋斗者
人生没有绝对的公平,但是相对还是公平的。放在一个天平上,你得到的越多,也必须比别人承受更多。
展开
-
计算机视觉中的注意力机制
之前在看DETR这篇论文中的self_attention,然后结合之前实验室组会经常提起的注意力机制,所以本周时间对注意力机制进行了相关的梳理,以及相关的源码阅读了解其实现的机制01 注意力机制(attention mechanism)02 自注意力(self-attention)03 软注意力(soft-attention) 1、空间域注意力(spatial transformer network) 2、通道注意力(Channe...转载 2020-06-11 19:42:34 · 754 阅读 · 0 评论 -
ypeError: __init__() got an unexpected keyword argument 'shape'
采用TensorFlow支持通过tf.Graph函数来生成新的向量图,代码如下:import tensorflow as tf# a = tf.constant([1.0,2.0],name="a")# b = tf.constant([2.0,3.0],name="b")# result = a+b# print(a.graph is tf.get_default_graph()...原创 2020-05-06 17:44:39 · 1995 阅读 · 0 评论 -
目标检测中的不平衡问题综述
什么是不平衡问题?一个我们最常想到的不平衡问题是:目标类别的不平衡。比如猫狗数据标注数量差异比较大。但这只是类别个数这一个输入特性。将不平衡问题分成四种类型,如下表: 1. 类别不平衡:前景和背景不平衡、前景中不同类别输入包围框的个数不平衡;2. 尺度不平衡:输入图像和包围框的尺度不平衡,不同特征层对最终结果贡献不平衡;3. 空间不平衡:不同样本对回归损失...原创 2020-04-28 08:35:11 · 945 阅读 · 0 评论 -
CNN中1*1 卷积核
卷积神经网络中卷积核的作用是提取图像更高维的特征,一个卷积核代表一种特征提取方式,对应产生一个特征图,卷积核的尺寸对应感受野的大小。经典的卷积示意图如下: 卷积核的大小一般是(2n+1)*(2n+1)的奇数乘奇数大小(n>=1),最常用的有3*3,5*5,7*7的。主要原因有两点:...转载 2019-10-15 14:50:08 · 823 阅读 · 0 评论 -
卷积在深度学习中的作用
转自http://www.mamicode.com/info-detail-2340306.html 卷积可能是现在深入学习中最重要的概念。卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的最前沿。但是,卷积如此强大呢?它是如何工作的?在这篇博客文章中,我将解释卷积并将其与其他概念联系起来,以帮助您彻底理解卷积。什么是卷积? 将卷积想象为信息...转载 2019-07-04 11:39:31 · 11104 阅读 · 1 评论 -
卷积神经网络(二)
卷积神经网络一般由卷积层、池化层和全连接层构成。 在全连接前馈神经网络中,如果第l 层有个神经元,第l − 1 层有个神经元,连接边有× 个,也就是权重矩阵有 个参数。当m和n都很大时,权重矩阵的参数非常多,训练的效率会非常低。 如果采用卷积来代替全连接,第L 层的净输入z(L) 为第L−1 层活性值a(L−1)和滤波器w(L) ∈ Rm 的卷积,即 ...原创 2019-07-09 15:43:20 · 768 阅读 · 0 评论 -
U-Net: Convolutional Networks for Biomedical Image Segmentation 解析
网络结构包括一个捕获上下文信息的收缩路径和一个用于精确定位的对称扩张路径,该网络能使用很少的图像就能够进行端到端的训练,并且在ISBI对电子显微镜下神经元结构进行的分割挑战方面胜过先前的最佳方法(滑动窗口卷积网络)。结构卷积层: 无填充卷积+relu+(2*2,stride=2)的max pooling卷积滤波器的数量每次下采样后double。patch: 上采样的时候...原创 2019-07-05 11:07:14 · 6941 阅读 · 0 评论 -
典型的卷积神经网络
各层计算详解https://www.cnblogs.com/touch-skyer/p/9150039.html介绍几种广泛使用的典型深层卷积神经网络。(1)LeNet-5 (详解https://blog.csdn.net/happyorg/article/details/78274066) 基于LeNet-5 的手写数字识别系统在90 年...原创 2019-07-10 15:53:17 · 1216 阅读 · 0 评论 -
卷积神经网络(其他卷积方式)
介绍一些其它的卷积方式:转置卷积 假设有一个高维向量为x ∈ 和一个低维向量为z ∈ ,p < d。如果用仿射变换来实现高维到低维的映射, z = Wx, (...原创 2019-07-10 16:35:36 · 1139 阅读 · 0 评论 -
网络结构
要想模拟人脑的能力,单一的神经元是远远不够的,需要通过很多神经元一起协作来完成复杂的功能。这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作是一个网络,就是神经网络。人工神经网络由神经元模型构成,这种由许多神经元组成的信息处理网络具有并行分布结构。目前常用的神经网络结构有以下三种: 前馈网络 ...原创 2019-07-01 09:06:16 · 850 阅读 · 0 评论 -
前馈神经网络(Feedforward Neural Network,FNN)----最早发明的简单人工神 经网络
前馈神经网络的示例: 第0 层叫输入层,最后一层叫输出层,其它中间层叫做隐藏层。整个网络中无反馈,信号从输入层向输出层单向传播,可用一个有向无环图表示 。(每一层的神经元可以接收前一层神经元的信号,并产生信号输出到下一层)前馈神经网络也经常称为多层感知器(Multi-Layer Perceptron,MLP)。...原创 2019-07-01 10:03:29 · 26736 阅读 · 0 评论 -
拉格朗日乘数法
拉格朗日乘数法是用来求条件极值的,极值问题有两类,其一,求函数在给定区间上的极值,对自变量没有其它要求,这种极值称为无条件极值。其二,对自变量有一些附加的约束条件限制下的极值,称为条件极值。例如给定椭球 求这个椭球的内接长方体的最大体积。这个问题...转载 2019-08-30 09:58:08 · 2983 阅读 · 0 评论 -
图像的上采样和小采样
上采样和下采样缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个: 1、使得图像符合显示区域的大小; 2、生成对应图像的缩略图。放大图像(或称为上采样(upsampling)或图像插值(interpolating))的主要目的是放大原图像,可以显示在更高分...转载 2019-07-04 11:08:18 · 301 阅读 · 0 评论 -
反向传播算法
一文弄懂神经网络中的反向传播法——BackPropagation 最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推导过程进行补充,但是补充的又是错的,难怪觉得有问题。反向传播法其实是神经网络的基础了,但是很多人在学的时候总是会遇到一些问题,或者看到大...转载 2019-07-03 17:44:27 · 89 阅读 · 0 评论 -
Logistic函数求导
Logistic函数是一种常用的S形函数,是比利时数学家 Pierre François Ver-hulst 在1844-1845 年研究种群数量的增长模型时提出命名的,最初作为一种生态学模型。...原创 2019-06-19 20:14:25 · 6917 阅读 · 2 评论 -
Softmax 回归
Softmax 回归(Softmax Regression),也称为多项(multinomial)或多类(multi-class)的logistic 回归,是logistic 回归在多类分类问题上的推广。 同样,我们贴一下wiki百科对softmax函数的定义: softmax is a generalization of logistic fun...原创 2019-06-25 10:39:14 · 192 阅读 · 0 评论 -
Feature Pyramid Networks for Object Detection(一)
基本概述: 特征金字塔网络是识别系统中对于检测不同尺寸的目标是一种基本组件。但是因为特征金字塔的计算和存储密集,最近深度学习目标已经避免使用特征金字塔的表示。文中提出一种利用卷积神经网络固有的多尺寸金字塔层次等级来构造特征金字塔。开发一种具有横向连接的自上而下架构,用于所有尺寸上构建高级语义特征图。作为一种通用的特征提取器,Feature Pyramid Network(PFN)在...原创 2019-06-11 21:49:42 · 1054 阅读 · 0 评论 -
多层感知机(MLP)简介
一、多层感知机(MLP)原理简介 多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构,如下图: ...转载 2019-06-23 21:36:59 · 365479 阅读 · 19 评论 -
主要介绍四种不同线性分类模型:感知器
我们主要介绍四种不同线性分类模型:logistic 回归、softmax 回归、感知器和支持向量机,这些模型区别主要在于使用了不同的损失函数。 感知器(Perceptron)由Frank Roseblatt 于1957 年提出,是一种广泛使用的线性分类器。感知器可谓是最简单的人工神经网络,只有一个神经元。 感知器是对...原创 2019-06-26 21:17:19 · 3286 阅读 · 0 评论 -
主要介绍四种不同线性分类模型:SVM
支持向量机(Support Vector Machine,SVM)是一个经典两类分类算法,其找到的分割超平面具有更好的鲁棒性,因此广泛使用在很多任务上,并表现出了很强优势。 核函数 软间隔...原创 2019-06-27 09:22:41 · 4331 阅读 · 0 评论 -
线性模型(线性判别函数和决策边界和 logistic 回归 )
我们主要介绍四种不同线性分类模型:logistic 回归、softmax 回归、感知器和支持向量机,这些模型区别主要在于使用了不同的损失函数。 线性模型(Linear Model)是机器学习中应用最广泛的模型,指通过样本特征的线性组合来进行预测的模型。给定一个d 维样本[, · · · , ]T,其线性组合函数为 ...原创 2019-06-24 22:24:22 · 4260 阅读 · 0 评论 -
卷积神经网络(一)
总体概述:卷积神经网络(Convolutional Neural Network,CNN或ConvNet)是一种具有局部连接、权重共享等特性的深层前馈神经网络。卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时,会存在以下两个问题: (1)参数太多 (2)局部不变性特征(尺度缩放、平移、旋转等操作不影响其语义信息,而全连接前...原创 2019-07-09 10:06:21 · 1686 阅读 · 0 评论 -
归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
归一化: 1)把数据变成(0,1)或者(1,1)之间的小数。 主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。 2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加...转载 2019-07-03 17:08:48 · 5750 阅读 · 0 评论 -
Feature Pyramid Networks for Object Detection(接)
2. 相关工作 手工工程特征和早期的神经网络:SIFT特征是最初是在尺寸空间极值中提取的,并用于特征点匹配。方向梯度直方图(HOG特)征以及之后的尺度不变特征变换(SIFT),都是在整张图像金字塔上进行密集计算的。方向梯度直方图(HOG特)征以及之后的尺度不变特征变换(SIFT)已经被用于许多的作品中,用于图像分类、目标检测、人类姿态估计等。对快速地计算特征图像金字塔也有...翻译 2019-06-12 17:27:38 · 232 阅读 · 0 评论