![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 79
江户川柯壮
[DL,ML,CV,DIP][MS.Dept.Automation,THU,Beijing,PRC][E-mail:jzsherlock@163.com]
展开
-
classical CNN models : LeNet-5 模型结构详解
LeNet - 5相关文献: Gradient-Based Learning Applied to Document Recognition YANN LECUN, MEMBER, IEEE, LÉON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNERPROCEEDINGS OF THE IEEE, VOL. 86, NO. 11, NOVEM...原创 2018-04-16 16:13:28 · 4471 阅读 · 0 评论 -
Winner-Take-All Autoencoders ( 赢者通吃自编码器)
Winner-Take-All Autoencoders ( WTA-AE 赢者通吃自编码器)Alireza Makhzani, Brendan Frey2015 NIPS论文地址:http://papers.nips.cc/paper/5783-winner-take-all-autoencoders.pdf这个模型在传统的稀疏自编码的空间稀疏性约束之外,又增加了一个lifeti...原创 2018-05-10 16:02:50 · 7631 阅读 · 0 评论 -
论文笔记:SoundNet: Learning Sound Representations from Unlabeled Video
论文笔记:SoundNet: Learning Sound Representations from Unlabeled VideoSoundNet: Learning Sound Representations from Unlabeled VideoYusuf Aytar∗ Carl Vondrick∗ Antonio Torralba2016 NIPS这篇文章是顺着一维卷...原创 2018-05-11 23:54:39 · 2843 阅读 · 1 评论 -
论文笔记(FCN网络,语义分割):Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation语义分割模型结构时序:FCN SegNetDilated ConvolutionsDeepLab (v1 & v2)RefineNetPSPNetLarge Kernel MattersDeepLab v3FCN模型:全...原创 2018-05-15 16:18:51 · 3310 阅读 · 0 评论 -
论文笔记:DualCNN(结构和细节分别训练)
论文笔记:Learning Dual Convolutional Neural Networks for Low-Level Vision参考文献:Learning Dual Convolutional Neural Networks for Low-Level VisionJinshan Pan1 Sifei Liu2 Deqing Sun2 Jiawei Zhang3 Yang Liu...原创 2018-06-03 13:23:52 · 3596 阅读 · 0 评论 -
论文笔记:DEEP LEARNING FOR MONAURAL SPEECH SEPARATION
论文笔记:DEEP LEARNING FOR MONAURAL SPEECH SEPARATIONPo-Sen Huang, Minje Kim, Mark Hasegawa-Johnson, Paris Smaragdisintroduction对语音信号的source separation,信源分离,在很多场合都有应用。比如把noise和speech分开可以提高ASR (aut...原创 2018-06-06 22:25:59 · 1237 阅读 · 0 评论 -
图像质量评估 (IQA) 论文笔记: Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment
图像质量评估 (IQA) 论文笔记: Deep Neural Networks for No-Reference and Full-Reference Image Quality AssessmentSebastian Bosse , Dominique Maniry, Klaus-Robert Müller, Member, IEEE, Thomas Wiegand, Fellow, IE...原创 2018-06-15 14:48:28 · 4925 阅读 · 0 评论 -
Application of Opposition-Based Reinforcement Learning in Image Segmentation
论文笔记:Application of Opposition-Based Reinforcement Learning in Image Segmentation这是一个番外篇的论文笔记。了解一下强化学习(RL)在图像方面可以有那些应用的切入点。Application of Opposition-Based Reinforcement Learning in Image Segmentat...原创 2018-06-19 17:11:21 · 708 阅读 · 0 评论 -
caffe SSD 代码编译运行流程及问题解决
caffe SSD 代码编译运行流程及问题解决该文基于以下代码:https://github.com/weiliu89/caffe/tree/ssddown下来后,进入目录-rw-rw-r-- 1 ~ ~ 23986 8月 13 15:29 Makefile-rw-rw-r-- 1 ~ ~ 4402 8月 10 17:05 Makefile.config.exa...原创 2018-08-13 16:15:13 · 3722 阅读 · 2 评论 -
图像隐写术分析论文笔记:Deep learning for steganalysis via convolutional neural networks
好久没有写论文笔记了,这里开始一个新任务,即图像的steganalysis任务的深度网络模型。现在是论文阅读阶段,会陆续分享一些相关论文,以及基础知识,以及传统方法的思路,以资借鉴。这一篇是Media Watermarking, Security, and Forensics 2015上的,应该是我能找到的最早的用dl做steganalysis的文章。和其他图像任务一样,传统的算法都是两步...原创 2018-10-31 21:47:44 · 6461 阅读 · 3 评论 -
dropout :深度学习中的正则化
dropout :深度学习中的正则化参考文献:Dropout: A Simple Way to Prevent Neural Networks from OverfittingNitish Srivastava Geoffrey Hinton Alex Krizhevsky Ilya Sutskever Ruslan SalakhutdinovEditor: Yoshua ...原创 2018-04-21 21:50:52 · 890 阅读 · 0 评论 -
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)实际上,优化算法可以分成一阶优化和二阶优化算法,其中一阶优化就是指的梯度算法及其变种,而二阶优化一般是用二阶导数(Hessian 矩阵)来计算,如牛顿法,由于需要计算Hessian阵和其逆矩阵,计算量较大,因此没有流行开来。这里主要总结一阶优化的各种...原创 2018-04-24 22:35:20 · 8937 阅读 · 5 评论 -
classical CNN models : AlexNet 模型结构详解
AlexNet相关文献:ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky Ilya Sutskever Geoffrey E. Hinton2012 NIPShttp://papers.nips.cc/paper/4824-imagenet-classification...原创 2018-04-16 18:54:18 · 1128 阅读 · 0 评论 -
classical CNN models : ZF Net 模型结构详解
ZF Net相关文献:Visualizing and Understanding Convolutional NetworksMatthew D. Zeiler and Rob FergusD. Fleet et al. (Eds.): ECCV 2014, Part I, LNCS 8689, pp. 818–833, 2014.ZF Net是用作者的名字命名的。这篇文章的模...原创 2018-04-17 00:49:29 · 5472 阅读 · 0 评论 -
classical CNN models : vgg 模型结构详解
VGG相关文献VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITIONKaren Simonyan∗ & Andrew Zisserman+http://arxiv.org/abs/1409.1556vgg是作者所在的课题组的缩写,visual geometry group,视觉几何学小组。通常...原创 2018-04-18 15:12:27 · 2596 阅读 · 0 评论 -
Batch Normalization :深度网络中的BN层
Batch Normalization :深度网络中的BN层参考文献:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftSergey Ioffe Google Inc., sioffe@google.com Christian Szegedy Go...原创 2018-04-22 17:08:45 · 2765 阅读 · 0 评论 -
神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)
神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)常规 sigmoid 和 tanhsigmoid 特点:可以解释,比如将0-1之间的取值解释成一个神经元的激活率(firing rate)缺陷:有饱和区域,是软饱和,在大的正数和负数作为输入的时候,梯度就会变成零,使得神经元基本不能更新。只有...原创 2018-04-22 21:53:42 · 65954 阅读 · 10 评论 -
classical CNN models : GoogLeNet 模型结构详解
GoogLeNet相关文献:Going Deeper with ConvolutionsChristian Szegedy1, Wei Liu2, Yangqing Jia1, Pierre Sermanet1 , Scott Reed3, Dragomir Anguelov1 , Dumitru Erhan1 , Vincent Vanhoucke1 , Andrew Rabino...原创 2018-04-18 18:57:12 · 1468 阅读 · 0 评论 -
classical CNN models : ResNet 模型结构详解
ResNet相关文献:Deep Residual Learning for Image RecognitionKaiming He Xiangyu Zhang Shaoqing Ren Microsoft ResearchCVPR 2016其他参考文献:Identity Mappings in Deep Residual Networks http...原创 2018-04-19 00:54:22 · 5979 阅读 · 5 评论 -
机器学习中的各种损失函数(Hinge loss,交叉熵,softmax)
机器学习中的各种损失函数SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度。在这里,多分类的SVM,我们的损失函数的含义是这样的:对于当前的一组分数,对应于不同的类别,我们希望属于真实类别的那个分数比其他的类别的分数要高,并且最好要高出一个margin...原创 2018-04-23 16:54:57 · 10263 阅读 · 0 评论 -
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)l1-norm 和 l2-norm是常见的模型优化过程中的正则化项,对应到线性回归的领域分别为lasso Regression和 Ridge Regression,也就是 lasso 回归(有的地方也叫套索回归)和岭回归(也叫脊回归)。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...原创 2018-04-23 23:29:18 · 7911 阅读 · 2 评论 -
循环神经网络(RNN)中的LSTM和GRU模型的内部结构与意义
LSTM和GRU的基本结构循环神经网络 RNN 是一种很重要的网络结构模型,通过每个时刻利用当前的输入以及之前的输出,在同一个单元产生当前时刻的输出,从而可以用来处理具有一定时序的问题,比如语音信号处理,机器翻译,股票走势等等。RNN的基本单元如下: 左边表示RNN的R,即循环调用自身,而右边是RNN的展开形式,unrolled form,可以看成一个复制了很多个同样copy的链...原创 2018-02-25 22:56:10 · 4148 阅读 · 1 评论