文献阅读
文章平均质量分 90
TensorSense
一位致力于开源教程编写与学习的工程师,主要方向为计算机视觉、自然语言处理、大语言模型的工业项目应用,擅长各类“AI+”项目的技术方案验证、设计和开发。欢迎与我交流,yts3221@126.com
展开
-
GhostNet 解读及代码实验(附代码、超参、日志和预训练模型)
文章首发于 极市平台文章目录一、前言二、论文阅读摘要问题1: 何为特征图冗余?问题2: Ghost feature maps 和 Intrinsic feature maps 是什么?问题3: Linear transformations 和 Cheap operations 是什么?问题4: Ghost Module长什么样?Ghost Bottlenecks长什么样?Ghost Ne...原创 2020-03-30 22:22:56 · 17744 阅读 · 41 评论 -
轻量化网络:SqueezeNet
SqueezeNet 发表于ICLR-2017,作者分别来自Berkeley和Stanford,SqueezeNet不是模型压缩技术,而是 “design strategies for CNN architectures with few parameters”创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ,提出fire module;fire module包含...原创 2017-12-27 09:45:41 · 20452 阅读 · 7 评论 -
轻量化网络:MobileNets
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications(MobileNets paper)是CVPR-2017一篇paper,作者均来之Google,其提出一种“新”的卷积方式来设计网络,主要针对移动端设备所设计,因此,得名MobileNets 注:MobileNets不是模型压缩技...原创 2017-12-20 10:25:55 · 12371 阅读 · 8 评论 -
人脸关键点:DAN-Deep Alignment Network: A convolutional neural network for robust face alignment
DAN-Deep Alignment Network,发表于CVPR-2017。很纳闷DAN取名中的D,为什么是deep,如果是深度学习的deep,岂不是很无区分性?有知道的朋友请告诉我这个D是什么意思~ DAN从名字上看不出来这个网络的创新点在哪里。创新点: 1.与以往的级联模型不同,网络模型输入是整张人脸图,可获取更多信息。 2.谁不想用更多的信息呢? 还不是因为有问题,但是DAN怎原创 2017-12-07 09:27:49 · 11114 阅读 · 0 评论 -
模型加速:WAE-Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
WAE(Wavelet-like Auto-Encoder) 是由来自中大、哈工大、桂电等多机构的多名研究人员合作提出的,发表于AAAI-2018(论文地址: https://arxiv.org/pdf/1712.07493.pdfgithub创新点: 1. WAE借助小波分解得思想,将原图分解成两个低分辨率图像,以达到网络加速的目。(PS:整体思路:下采样的方法达到网络加速,但原创 2017-12-26 11:38:34 · 2340 阅读 · 3 评论 -
模型压缩:Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming(Paper) 2017年ICCV的一篇paper,思路清晰,骨骼清奇~~创新点: 1. 利用batch normalization中的缩放因子γ 作为重要性因子,即γ越小,所对应的channel不太重要,就可以裁剪(pru原创 2017-12-13 09:41:44 · 14701 阅读 · 10 评论 -
轻量化卷积神经网络:SqueezeNet、MobileNet、ShuffleNet、Xception
一 引言二 轻量化模型2.1 SqueezeNet2.2 MobileNet2.3 ShuffleNet2.4 Xception三 网络对比一 引言自2012年AlexNet以来,卷积神经网络(简称CNN)在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高,AlexNet已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更...原创 2018-01-18 20:40:07 · 20022 阅读 · 8 评论 -
轻量化网络:MobileNet-V2
创新点正文MobileNet-V2网络结构MobileNetV2: 《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 于2018年1月公开在arXiv(美[ˈɑ:rkaɪv]) :https://arxi...原创 2018-01-23 09:27:28 · 148653 阅读 · 55 评论 -
【文献阅读】Densely Connected Convolutional Networks-best paper-CVPR-2017
Introduction Related workDenseNets总结Densely Connected Convolutional Networks,CVPR-2017-best paper之一(共两篇,另外一篇是apple关于GAN的paper),早在去年八月 DenseNets的paper就发布在arXiv上了。 就CNN的发展来说,2017注定被D原创 2017-08-04 16:19:14 · 7653 阅读 · 7 评论 -
人脸关键点: Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks
Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 由萨里大学研究人员(第一至四作者)与江南大学研究人员(第五作者)共同研究,被CVPR2018收录,最早于2017年11月在arXiv上发表(美[ˈɑ:rkaɪv]) : https://arxiv.org/abs/1711.06原创 2018-04-30 17:27:46 · 17709 阅读 · 21 评论 -
轻量化网络:SqueezeNext
《SqueezeNext: Hardware-Aware Neural Network Design》 于2018年3月公开在arXiv(美[ˈɑ:rkaɪv]) :https://arxiv.org/abs/1803.10615SqueezeNext是基于SqueezeNet进行改进的一种轻量化网络。该论文是一篇“软硬兼并”的轻量化网络论文,以往的论文大多都只讲了网络如何设计,并没有...原创 2018-06-05 22:15:14 · 4688 阅读 · 6 评论 -
轻量化网络:ShuffleNet V2
Guideline 1-4:ShuffleNet V2疑问:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 由Face++及清华的研究者共同发表,已被ECCV-2018收录论文下载地址:https://pan.baidu.com/s/1so7aD3hLKO-0PB...原创 2018-08-04 11:44:51 · 3194 阅读 · 1 评论 -
深度学习人脸关键点检测方法----综述
参考资料一、 引言二、 检测方法 总结 近期对人脸关键点相关方法进行了研究,在深度学习大行其道的背景之下,此博客对近期人脸关键点检测深度学习方法进行了记录和总结,希望给广大朋友一点点启发,也希望大家指出我阅读过程中的错误~主要有如下模型: 2.1 ASM (Active Shape Models) 2.2 AAM(Active Appearance Models)...原创 2017-12-25 10:55:50 · 57632 阅读 · 11 评论 -
模型压缩:Deep Compression
第一步weight pruning第二步trained quantization and weight sharing第三步 Huffman coding 实验分析之压缩几十倍从何而来 实验分析之极致量化《Deep Compression Compressing Deep Neural Networks with Pruning, Trained Quantization原创 2018-01-22 10:51:38 · 6419 阅读 · 2 评论 -
轻量化网络:ShuffleNet
《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 》来自face++,发表于CVPR-2017, 其主要采用两个“新”操作对卷积神经网络结构进行修改,达到提高计算效率的目的。github: https://github.com/farmingyard/ShuffleNet创新点:原创 2017-12-28 08:53:39 · 1687 阅读 · 0 评论 -
【文献阅读】Perceptual Generative Adversarial Networks for Small Object Detection –CVPR-2017
Perceptual Generative Adversarial Networks for Small Object Detection 2017CVPR 新鲜出炉的paper,这是针对small object detection的一篇文章,采用PGAN来提升small object detection任务的performance。最近也没做object detection,只是别人推荐了这篇pa原创 2017-08-03 11:55:42 · 10256 阅读 · 26 评论 -
【文献阅读】Self-Normalizing Neural Networks
Self-Normalizing Neural Networks ,长达93页的附录足以成为吸睛的地方(给人感觉很厉害), 此paper提出了新的激活函数,称之为 SELUs ,其具有normalization的功能.给人感觉只是在全连接层有效果,在CNN和RNN中貌似没有提及有效果Abstract:CNN在视觉的多个领域有很好的表现,然而 feed-forward neural networks(原创 2017-08-11 15:40:33 · 2629 阅读 · 2 评论 -
【文献阅读】Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms
命名技巧:项目目的:数据源:数据制作:推荐阅读:数据制作paper 地址:https://arxiv.org/abs/1708.07747 数据集下载:https://github.com/zalandoresearch/fashion-mnist 上个月底突然被Fashion-MNIST刷屏,于是乎看看这个数据集是个什么样的数据集。命名技巧:Fashio...原创 2017-09-04 10:40:30 · 4950 阅读 · 6 评论 -
【文献阅读】Stacked What-Where Auto-encoders -ICLR-2016
一、Abstract提出一种新的autoencoder —- SWWAE(stacked what-where auto-encoders),更准确的说是一种 convolutional autoencoder,因为在CNN中的pooling处才有 “what-where。SWWAE呢,是一种整合了supervised,semi-supervised and unsupervised learnin原创 2017-07-22 10:43:36 · 3054 阅读 · 11 评论 -
【文献阅读】ResNet-Deep Residual Learning for Image Recognition--CVPR--2016
最近准备用Resnet来解决问题,于是重读Resnet的paper 《Deep Residual Learning for Image Recognition》, 这是何恺明在2016-CVPR上发表的一篇paper,在2015年12月已经发布在arXiv上,并且用文中所述的网络在 2015年 的ILSVRC获得分类任务冠军,在2015-COCO detection,segmentation 的冠原创 2017-08-16 20:48:28 · 4275 阅读 · 0 评论 -
人脸关键点:TCDCN-Facial Landmark Detection by Deep Multi-task Learning
《Facial Landmark Detection by Deep Multi-task Learning》发表于ECCV-2014,作者来自香港中文大学汤晓鸥团队的Zhanpeng Zhang等人。创新点: 1.将MTL(多任务学习)结合CNN应用到人脸关键点检测 2.为解决各任务有着不同收敛速度而导致的优化难问题,提出针对多任务学习的early stopping。Zhang等人将MTL(M原创 2017-12-06 09:02:25 · 9543 阅读 · 1 评论 -
人脸关键点:MTCNN-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
创新点: 1. 首次将级联和多任务结合起来,之前有单纯级联的DCNN,单纯多任务的TCDCN 2. 提出 a new online hard sample mining strategy,没接触过hard sample mining ,知道的同学介绍介绍呗~2016年,Zhang等人提出一种多任务级联卷积神经网络(MTCNN, Multi-task Cascaded Convolutional原创 2017-12-12 16:19:58 · 2131 阅读 · 0 评论 -
人脸关键点: DCNN-Deep Convolutional Network Cascade for Facial Point Detection
近期学习关键点检测相关内容,基于CNN的方法已经替代以往经典的方法(ASM,AAM等),于是乎得看看CNN是如何应用到关键点检测上的。2013年,Sun等人首次将CNN应用到人脸关键点检测,并且取得较好的结果(BioID、LFPW数据集上),今天就来看看Sun等人提出的Deep Convolutional Network Cascade,到底是如何应用到人脸关键点检测的。Abstract作者提出一种原创 2017-12-04 15:03:37 · 5797 阅读 · 1 评论 -
人脸关键点:TCNN-Tweaked Convolutional Neural Networks
TCNN,全名Tweaked Convolutional Neural Networks, 其中,Tweaking implies fine-tuning the final layers for particular head pose创新点:1.对CNN提取的特征进行聚类,将各簇对应的样本进行分析,最后发现同一簇表现出“相同属性”(姿态,微笑,性别)的人脸。对此,设计了K个FC5和K个FC6层原创 2017-12-07 09:05:48 · 4336 阅读 · 3 评论 -
ResNeXt - Aggregated Residual Transformations for Deep Neural Networks
《Aggregated Residual Transformations for Deep Neural Networks》是Saining Xie等人于2016年公开在arXiv上: https://arxiv.org/pdf/1611.05431.pdf 创新点 1.在传统Resnet基础上采用group convolution,在不增加参数量的前提下,获得更强的representation原创 2018-01-02 09:12:28 · 854 阅读 · 0 评论 -
轻量化网络:Xception
Xception: Deep Learning with Depthwise Separable Convolutions 是2017年 google的文章Xception不是模型压缩技术,而是 “design strategies for CNN architectures with few parameters”Xception 是对Inception v3的改进,是一种 Extrem...原创 2017-12-25 09:38:10 · 8845 阅读 · 2 评论 -
【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016
一、abstract 从近期对unsupervised learning 的研究得到启发,在large-scale setting 上,本文把unsupervised learning 与supervised learning结合起来,提高了supervised learning的性能。主要是把autoencoder与CNN结合起来原创 2017-07-19 10:04:42 · 900 阅读 · 0 评论