Loong Cheng的博客

这篇还是我抄的,为了加快阅读,我把有用的标成红色. 说道inception这个东西,就要说network in network,比较耗费资源结构,但是效果很好,好在哪里,看下文.1 前言本文简要介绍了 Inception 家族的主要成员，包括 Inception v1、Inception v2 和 Inception v3、Inception v4 和 Inception-ResNet。...

end to end 这个是我在HED这个深度学习中看到。这里记录下，它是什么东西。原文中提出的end-to-end的边缘检测系统，称为holistically-nested edge detection (HED)，使用holistically来表示边缘预测的结果是基于图像到图像的，端到端的过程；而nested则强调了在生成的输出过程中不断地继承和学习得到精确的边缘预测图的过程（具体算法后面...

2016 Stanford University, DeepScale & UC Berkeley2. MobileNet v1 2017 Google3. ShuffleNet 2017 Face++ （性能和速度超MobileNet v1）4. MobileNet v2 2018.04 Google5. ShuffleNet V2 2018.07 Face++6...

inception系列的开山之作，有网络结构设计的初期思考。 Going deeper with convolutionsmotivations:提高模型性能的最直接方式：1.加深（增加层）2.加宽（增加单层的神经元个数）,带来的两个弊端：1.大规模的参数易导致过拟合且需要更多的训练集 2.更多的计算资源消耗 解决基本思想是在fc层甚至conv层使用稀疏连接结构，原因是1...

深度网络为什么难训练？ 　　因为internal covariate shiftinternal covariate shift：在训练过程中，每层的输入分布因为前层的参数变化而不断变化 从不同的角度说明问题internal covariate shift　　1.SGD训练多层网络 总损失是，当，损失转换为 梯度更新是 ...

主题：如何高效的增大网络规模 　　通过分解卷积和正则实现高效计算 设计网络原则 　　1.避免表征瓶颈。大部分时候，特征大小应当缓慢变小，在变小的同时增加维度。（下采样是减小信息，而升维是增加信息）　　2.高维特征更容易局部处理，收敛更快。（高维易分）　　3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）　　4.平衡宽度和深度。（宽度和深...

在残差逐渐当道时，google开始研究inception和残差网络的性能差异以及结合的可能性，并且给出了实验结构。本文思想阐述不多，主要是三个结构的网络和实验性能对比。Inception-v4, Inception-ResNet andthe Impact of Residual Connections on Learning 论证残差和Inception结合对性能的影响（抛实...

CNN的权值正交性和特征正交性，在一定程度上是和特征表达的差异性存在一定联系的。　　下面两篇论文，一篇是在训练中对权值添加正交正则提高训练稳定性，一篇是对特征添加正交性的损失抑制过拟合。第一篇：Orthonormality RegularizationXie D, Xiong J, Pu S. All You Need is Beyond a Good Init: Exploring ...

MTCNN算法及代码笔记论文：Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks论文链接：https://arxiv.org/abs/1604.02878官方代码链接：https://github.com/kpzhang93/MTCNN_face_detection_al...

inception-resnet v2相对于inception-resnet v1而言，v2主要被设计来探索residual learning用于inception网络时所极尽可能带来的性能提升。因此它所用的inception 子网络并没有像v1中用的那样偷工减料。首先下面为inception-resnet v2所使用的各个主要模块。Inception-Resnet_v2所使用的各...

引用Woo S , Park J , Lee J Y , et al. CBAM: Convolutional Block Attention Module[J]. 2018.下载https://arxiv.org/pdf/1807.06521.pdf转载于：https://www.jianshu.com/p/4fac94eaca91https://blog.csdn.net/wei...

转载于：https://www.zhihu.com/question/274926848/answer/473562723卷积层输出的特征映射其实和原图是存在一定的空间对应关系的。把最后一层卷积输出的特征映射处理一下，然后绘制到原图上，就得到了热图（也就是网络模型更关注的区域）。关键是通过什么方式处理得到的效果比较好？GAP让我们小小地绕行一下，先介绍下全局平均池化（globa...

转载于：https://blog.csdn.net/qq_14845119/article/details/73648100Inception v1的网络主要提出了Inceptionmodule结构（1*1，3*3，5*5的conv和3*3的pooling组合在一起），最大的亮点就是从NIN（Network in Network）中引入了1*1 conv，结构如下图所示，代表作Googl...

填充方式为 1 为same ，0为为vaild下面算一下每一层的像素值计算，说明下，激活函数为Relu：输入：224*224*3第1层： conv3 - 64（3通道，64个卷积核）：kernel size:3 stride:1 pad:1 # 卷积核尺寸3 步长为1 像素：（224-3+2*1）/1+1=224 输出： 224*224*64 参数：（3...

这篇将会汇总我读的几个论文，来进行阐述。这些鲁汶都是0几年的，说实在的，效果真没有多样本训练效果好。在一些特殊的场合，比如法律实施、护照验证、身份证验证等，每类(人)只能得到一幅图像，只能用这些数目有限的图像去训练人脸识别系统，因而产生了单训练样本人脸识别技术．单训练样本人脸识别，是指每人仅存储一幅人脸图像作为训练集去识别姿态、光照等可能存在变化的人脸图像的身份‘。解决方法有虚拟样本，样本扩...

目录滑动窗口--Sliding WindowPASXAL VOC评估标准mAPIOU常用的数据集PASCAL VOCPASCAL VOC--Pattern Analysisi Stattistical Modelling and Computational Learning, Visual Object Classes。名字真长~！~。它是有一套评估图像分类，检测...

目录1.在运行之前先查看GPU的使用情况：2.指定GPU训练：方法一、在python程序中设置：方法二、在执行python程序时候：方法三、推荐3.两种限定GPU占用量的方法：方法一、设置定量的GPU显存使用量:方法二、设置最小的GPU显存使用量，动态申请显存:（建议）方法三，1和2兼顾4.将数据的处理使用多线程的queue在CPU上进行，使得GPU随时都有...

转载：https://zhuanlan.zhihu.com/p/56501461张戎引言在机器翻译（Machine Translation）或者自然语言处理（Natural Language Processing）领域，以前都是使用数理统计的方法来进行分析和处理。近些年来，随着 AlphaGo 的兴起，除了在游戏AI领域，深度学习在计算机视觉领域，机器翻译和自然语言处理领域也有着巨大的...