深度学习专题
文章平均质量分 53
深度学习经典模型与常用结构与技巧
Destinesia12
[DL,ML,CV,DIP][MS.Dept.Automation,THU,Beijing,PRC][E-mail:jzsherlock@163.com]
展开
-
算法工程师的自我修养(AlgorithmEngineerPrepares)
算法工程师的自我修养整理一份算法工程师的最小必需的知识框架,内容包括【计算机视觉】、【机器学习基础】、【深度学习基础】、【数据处理分析】、【矩阵论】、【信息论】、【NLP基础】,持续更新中,欢迎关注~点击这里!!!...原创 2021-06-25 19:01:42 · 1628 阅读 · 3 评论 -
图像目标检测算法总结(从R-CNN到YOLO v3)
(首发于知乎,链接:https://zhuanlan.zhihu.com/p/242424344)基于CNN 的目标检测是通过CNN 作为特征提取器,并对得到的图像的带有位置属性的特征进行判断,从而产出一个能够圈定出特定目标或者物体(Object)的限定框(Bounding-box,下面简写为bbox)。和low-level任务不同,目标检测需要预测物体类别及其覆盖的范围,因此需关注高阶语义信息。传统的非CNN 的方法也可以实现这个任务,比如Selective Search 或者DPM。在初始的CNN原创 2020-09-15 21:52:11 · 6871 阅读 · 0 评论 -
【NLP模型笔记】GloVe模型简介
和之前讲过的word2vec(SG和CBOW)一样,glove模型也是一种无监督的词嵌入方法,即词向量学习方法。glove是一个全局对数双线性回归模型(global log bilinear regression model)。顾名思义,该模型用到了语料库的全局特征,即单词的共现频次矩阵,并且,其优化目标函数是对数线性的,并用回归的形式进行求解。原创 2020-04-28 02:08:17 · 4516 阅读 · 1 评论 -
classical CNN models : ResNet 模型结构详解
ResNet相关文献:Deep Residual Learning for Image RecognitionKaiming He Xiangyu Zhang Shaoqing Ren Microsoft ResearchCVPR 2016其他参考文献:Identity Mappings in Deep Residual Networks http...原创 2018-04-19 00:54:22 · 6010 阅读 · 5 评论 -
classical CNN models : GoogLeNet 模型结构详解
GoogLeNet相关文献:Going Deeper with ConvolutionsChristian Szegedy1, Wei Liu2, Yangqing Jia1, Pierre Sermanet1 , Scott Reed3, Dragomir Anguelov1 , Dumitru Erhan1 , Vincent Vanhoucke1 , Andrew Rabino...原创 2018-04-18 18:57:12 · 1480 阅读 · 0 评论 -
论文笔记(FCN网络,语义分割):Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation语义分割模型结构时序:FCN SegNetDilated ConvolutionsDeepLab (v1 & v2)RefineNetPSPNetLarge Kernel MattersDeepLab v3FCN模型:全...原创 2018-05-15 16:18:51 · 3324 阅读 · 0 评论 -
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)实际上,优化算法可以分成一阶优化和二阶优化算法,其中一阶优化就是指的梯度算法及其变种,而二阶优化一般是用二阶导数(Hessian 矩阵)来计算,如牛顿法,由于需要计算Hessian阵和其逆矩阵,计算量较大,因此没有流行开来。这里主要总结一阶优化的各种...原创 2018-04-24 22:35:20 · 8973 阅读 · 5 评论 -
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)l1-norm 和 l2-norm是常见的模型优化过程中的正则化项,对应到线性回归的领域分别为lasso Regression和 Ridge Regression,也就是 lasso 回归(有的地方也叫套索回归)和岭回归(也叫脊回归)。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...原创 2018-04-23 23:29:18 · 8047 阅读 · 2 评论 -
机器学习中的各种损失函数(Hinge loss,交叉熵,softmax)
机器学习中的各种损失函数SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度。在这里,多分类的SVM,我们的损失函数的含义是这样的:对于当前的一组分数,对应于不同的类别,我们希望属于真实类别的那个分数比其他的类别的分数要高,并且最好要高出一个margin...原创 2018-04-23 16:54:57 · 10310 阅读 · 0 评论 -
神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)
神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)常规 sigmoid 和 tanhsigmoid 特点:可以解释,比如将0-1之间的取值解释成一个神经元的激活率(firing rate)缺陷:有饱和区域,是软饱和,在大的正数和负数作为输入的时候,梯度就会变成零,使得神经元基本不能更新。只有...原创 2018-04-22 21:53:42 · 66026 阅读 · 10 评论 -
Batch Normalization :深度网络中的BN层
Batch Normalization :深度网络中的BN层参考文献:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftSergey Ioffe Google Inc., sioffe@google.com Christian Szegedy Go...原创 2018-04-22 17:08:45 · 2787 阅读 · 0 评论 -
Winner-Take-All Autoencoders ( 赢者通吃自编码器)
Winner-Take-All Autoencoders ( WTA-AE 赢者通吃自编码器)Alireza Makhzani, Brendan Frey2015 NIPS论文地址:http://papers.nips.cc/paper/5783-winner-take-all-autoencoders.pdf这个模型在传统的稀疏自编码的空间稀疏性约束之外,又增加了一个lifeti...原创 2018-05-10 16:02:50 · 7691 阅读 · 0 评论 -
dropout :深度学习中的正则化
dropout :深度学习中的正则化参考文献:Dropout: A Simple Way to Prevent Neural Networks from OverfittingNitish Srivastava Geoffrey Hinton Alex Krizhevsky Ilya Sutskever Ruslan SalakhutdinovEditor: Yoshua ...原创 2018-04-21 21:50:52 · 908 阅读 · 0 评论 -
classical CNN models : vgg 模型结构详解
VGG相关文献VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITIONKaren Simonyan∗ & Andrew Zisserman+http://arxiv.org/abs/1409.1556vgg是作者所在的课题组的缩写,visual geometry group,视觉几何学小组。通常...原创 2018-04-18 15:12:27 · 2622 阅读 · 0 评论 -
classical CNN models : ZF Net 模型结构详解
ZF Net相关文献:Visualizing and Understanding Convolutional NetworksMatthew D. Zeiler and Rob FergusD. Fleet et al. (Eds.): ECCV 2014, Part I, LNCS 8689, pp. 818–833, 2014.ZF Net是用作者的名字命名的。这篇文章的模...原创 2018-04-17 00:49:29 · 5499 阅读 · 0 评论 -
classical CNN models : LeNet-5 模型结构详解
LeNet - 5相关文献: Gradient-Based Learning Applied to Document Recognition YANN LECUN, MEMBER, IEEE, LÉON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNERPROCEEDINGS OF THE IEEE, VOL. 86, NO. 11, NOVEM...原创 2018-04-16 16:13:28 · 4485 阅读 · 0 评论 -
classical CNN models : AlexNet 模型结构详解
AlexNet相关文献:ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky Ilya Sutskever Geoffrey E. Hinton2012 NIPShttp://papers.nips.cc/paper/4824-imagenet-classification...原创 2018-04-16 18:54:18 · 1145 阅读 · 0 评论