![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 60
Star_ACE
一个缺乏创造力的程序猿
展开
-
1x1卷积核的理解
1x1卷积核的作用主要有两点: 1、实现跨通道的信息融合 2、实现通道数的升维与降维 3、增加网络的非线性实现跨通道信息的融合:加入当前层的特征矩阵为224x224x100,而下一层想要得到224x224x50,这时就可以通过1x1的卷积核进行跨通道信息融合,当然这时也可以通过3x3或5x5的卷积核构建出符合下一层224x224x50的特征矩阵,但是使用1x1卷积核,起到了减少参数的...原创 2018-09-11 16:04:50 · 729 阅读 · 0 评论 -
pytorch的inference
这里inference两个程序的连接,如目标检测,可以利用一个程序提取候选框,然后把候选框输入到分类cnn网络中。这里常需要进行一定的连接。#加载训练好的分类CNN网络model=torch.load('model.pkl')#假设proposal_img是我们提取的候选框,是需要输入到CNN网络的数据#先定义transforms对输入cnn的网络数据进行处理,常包括resize、to...原创 2019-02-20 23:58:16 · 5168 阅读 · 0 评论 -
Detecting Text in Natural Image with Connectionist Text Proposal Network(CTPN)
文本检测其中一个难点在于文本行的长度变化是非常剧烈的。因此如果是采用基于faster rcnn等通用物体检测框架的算法都会面临怎么生成好的text proposal的问题。论文Detecting Text in Natural Image with Connectionist Text Proposal Network提供了另外一个思路,检测一个一个小的,固定宽度的文本段,然后在后处理部分再将这些...转载 2019-01-26 22:34:38 · 1020 阅读 · 0 评论 -
机器学习与深度学习一些基础知识点
1、dropout的原理:可以把dropout看成是 一种ensemble(集成)方法,每次做完dropout相当于从原网络中找到一个更瘦的网络,具体的,它是通过一定概率对神经元连接进行舍弃,这样减弱了神经元节点间的联合适应性,增强泛化能力,同时使用dropout得到更多的局部簇,同等数据下,簇变多了,因而区分性变大,稀疏性也更大。要注意的是,在网络的测试阶段drop out对数据的处理比较特...原创 2019-01-17 22:34:25 · 1592 阅读 · 0 评论 -
MTCNN论文阅读笔记
论文:Joint Face Detection and Alignment Using MultitaskCascaded Convolutional Networks简称MTCNN,是一个用于人脸检测与对齐的三级联CNN网络。论文主要提出一个从粗到细的级联多任务框架用于人脸的检测与对其,并提出online hard sample mining strategy,该策略可以提升性能。on...原创 2019-01-07 17:44:38 · 811 阅读 · 0 评论 -
ubunt16.04+cuda9.0+cudnn+opencv3.4.0+caffe环境搭建
一、cuda安装要注意:禁用nouveau驱动,然后到官网下载显卡驱动,安装好,再安装cuda,建议run安装,cuda安装时不用再装显卡驱动二、cudnn下载Linux文件,解压,复制到特定文件夹,进行软连接,主要下载的版本文件名三、opencv安装opencv3.4.0,其他较低版本可能不支持cuda9.0解压文件,进入文件目录mkdir build # 创建编译的文件目录c...原创 2019-01-06 17:53:17 · 370 阅读 · 1 评论 -
反向传播过程推导例子
假如我们有个这样的网络:第一层是输入层,包含两个神经元i1,i2,和截距项b1;第二层是隐含层,包含两个神经元h1,h2和截距项b2,第三层是输出o1,o2,每条线上标的wi是层与层之间连接的权重,激活函数我们默认为sigmoid函数。...原创 2019-01-11 14:50:10 · 597 阅读 · 0 评论 -
复现实验难以达到论文中精度的方法
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们很多时候我们达不到他们的实验效果。之前我曾尝试复现几篇论文的实验,花了很大力气总算搞出来的,但是结果实验结果与原文中精度总有2-3...原创 2019-01-03 16:33:45 · 13449 阅读 · 2 评论 -
Fast RCNN算法详解
本文转自:AI之路这篇博文来介绍Fast RCNN,是RCNN算法的升级版。RCNN系列算法看完后才写的这篇博客,相信初学者会比较容易这篇算法。解决的问题:之所以提出Fast R-CNN,主要是因为R-CNN存在以下几个问题:1、训练分多步。通过上一篇博文我们知道R-CNN的训练先要fine tuning一个预训练的网络,然后针对每个类别都训练一个SVM分类器,最后还要用regressors...转载 2018-11-19 23:36:37 · 4085 阅读 · 1 评论 -
残差结构详解
背景知识:为什么要构建深层网络?答:认为神经网络的每一层分别对应于提取不同层次的特征信息,有低层,中层和高层,而网络越深的时候,提取到的不同层次的信息会越多,而不同层次间的层次信息的组合也会越多。ResNets为什么能构建如此深的网络?答:深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸,传统对应的解决方案则是数据的初始化(normlized initializatiton)和(b...原创 2018-11-11 23:40:21 · 55297 阅读 · 8 评论 -
Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
本文是deepmind出品,目的,就一个,放出个关于视频方面的训练集kinetics,一个四百个类,每个类有至少四百个clips,每个clips十秒钟,属于从youtube上剪切的视频,然后对比了几种现在存在的用于行为识别的几种框架,具体如下图:其中,a,b,c,d是现有的做法,作者提出了e,唉,这种框架 ,感觉有点和前面没啥区别。然后,神奇的事情出现了:这个数据集上训练的模型,通过迁移学习到...转载 2018-11-01 13:58:21 · 463 阅读 · 0 评论 -
神经网络的损失函数
1、L1loss这个就是我们常说的L1范数,简单说就是计算输出值与真实值之间误差的绝对值大小。loss=∣xi−yi∣loss=|x_{i}-y_{i}|loss=∣xi−yi∣由于L1 loss在零点不平滑,所以用的比较少。2、SmoothL1LossL1loss的平滑版。如果绝对元素误差低于1则使用平方项的标准,否则L1项。 它对异常值的敏感度低于MSELoss,并且在某些情况下可以...原创 2018-10-22 23:21:03 · 25092 阅读 · 0 评论 -
L1和L2正则化直观理解
正则化是用于解决模型过拟合的问题。它可以看做是损失函数的惩罚项,即是对模型的参数进行一定的限制。应用背景:当模型过于复杂,样本数不够多时,模型会对训练集造成过拟合,模型的泛化能力很差,在测试集上的精度远低于训练集。这时常用正则化来解决过拟合的问题,常用的正则化有L1正则化和L2正则化。L1正则化的直观理解L1正则化(数学符号表示为∣∣w∣∣1||w||_1∣∣w∣∣1)的公式:在原有的...原创 2018-10-17 12:22:25 · 1060 阅读 · 0 评论 -
二值网络
本文转载于二值神经网络(Binary Neural Network,BNN)BNN算法要想使整个神经网络二值化,那么最需要解决的问题就是反向传播时的求导。下面会通过一系列手段使的这个操作可行。二值化手段直觉上看,二值化的手段非常简单啊,整数是1,负数是-1就可以了。但实际上,这只是其中一种,即决定式的二值化。还有一种是随机式的二值化这个样的公式让我想起跟一个大神聊天时谈到的问题,...转载 2018-10-16 20:21:13 · 3097 阅读 · 0 评论 -
机器学习泛化问题之偏差和方差
当一个模型确定时,我们需要对其进行诊断,判断这个模型是否存在过拟合或者欠拟合。通过偏差与方差我们可以很快捷的评价当前的模型。偏差与方差的直观理解偏差:就是偏离的意思,与“标准”之间的差距。方差:是离散程度,波动程度的意识。图1,2的偏差都比较小(都能在靶心的范围内),但是图1的方差更小(数据集中),而图2则方差更大(数据发散)。图3,4的偏差都比较大(已经脱离了靶心位置)从机器学...原创 2018-10-06 19:30:49 · 818 阅读 · 1 评论 -
im2col的理解
im2col是用来优化卷积运算的,它的核心是将卷积核感受野部分转化成一行(列)来存储,优化运算速度,减少内存访问时间。这其实主要取决于我们使用的框架访存的方式。计算机一次性读取相近的内存是最快的,尤其是当需要把数据送到GPU去计算的时候,这样可以节省访存的时间,以达到加速的目的。不同框架的访存机制不一样,所以会有行列相反这样的区别...原创 2018-10-06 01:47:57 · 5119 阅读 · 1 评论 -
空洞卷积与反卷积
空洞卷积(dilated conv),也称扩张卷积。空洞卷积可以在kernel有效增大感受野的同时不增加模型参数或者计算量。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中,都能较好的应用空洞卷积。在图像分割,语音合成WaveNet,机器翻译ByteNet中都有空洞卷积的身影。一般情况下,图片输入到网络中,网络将会对图像做卷积再池化(pooling)的操作,pooling...原创 2018-09-23 12:09:09 · 8414 阅读 · 0 评论 -
“元学习”的理解
1、定义 元学习(Meta Learning)或者叫做“学会学习”(Learning to learn),它是要“学会如何学习”,即利用以往的知识经验来指导新任务的学习,具有学会学习的能力。当前的深度学习大部分情况下只能从头开始训练。使用Finetune来学习新任务,效果往往不好,而Meta Learning 就是研究如何让神经玩两个很好的利用以往的知识,使得能根据新任务的调整自己研...原创 2018-09-12 17:16:03 · 49429 阅读 · 1 评论 -
pytorch搭建网络结构
记录pytorch怎么搭建网络,看起来更舒服首先定义一个blockclass myBlock(nn.module): def __init__(self,in_channel,out_channel,····): super(myBlock,self).__init__() ······· def forward(self,x): ·······然后直接定义网络class...原创 2019-03-31 01:18:09 · 1429 阅读 · 0 评论