- 博客(6)
- 收藏
- 关注
RSS订阅转载 关于协方差矩阵的理解
在《主成分分析》中，我们用到了协方差矩阵，但当时并没有对其进行深入的讨论。为此，本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。若需要本文完整的 PDF 文档，请点击《协方差矩阵详谈》进行下载！作者: peghoty 出处: http://blog.csdn.net/itplus/article/details/11452743欢迎转载/分享, 但
2017-09-27 21:53:49
537
原创 深度模型中的优化算法
某猪场的笔试题问到了深度学习中的优化算法，由于准备不足扑街了，后来补了一下这方面的知识，整理如下：基本算法随机梯度下降（SGD）实践中，一般会线性衰减学习率直到第τ\tau次迭代：ϵk=(1−α)ϵ0+αϵτ\epsilon_k = (1-\alpha)\epsilon_0 + \alpha\epsilon_{\tau}其中，α=kτ\alpha=\frac{k}{\tau}。在τ\tau布迭代之后
2017-08-29 16:59:11
2043
原创 激活函数
ReLU及其扩展目前，深度学习中最常见的激活函数是g(z)=max{0,z}g(z) = max\{0, z\} ，翻译为整流线性单元（rectified linear unit）或者称为ReLU。“该激活函数是被推荐用于大多数前馈神经网络的默认激活函数。将此函数用于线性变换的输出将产生非线性变换。然而，函数仍然非常接近线性，在这种意义上它是具有两个线性部分的分段线性函数。由于整流线性单元几乎是线性
2017-08-21 17:56:53
1927
原创 从R-CNN到Faster-RCNN（上）
本篇博客梳理一下深度学习在目标检测这一领域其中最重要的一条主线：RCNN>SPPNet>Fast-RCNN>Faster-RCNN。当然Faster-RCNN之后还有R-FCN，但是因为R-FCN中位置敏感图这个概念我一直觉得很神奇，所以后面准备单独再写一篇博客来讲R-FCN。R-CNN论文《Rich feature hierarchies for accurate object detection
2017-08-17 23:49:05
565
原创 FCN和U-Net
FCN论文《Fully Convolutional Networks for Semantic Segmentation》这篇论文作为用CNN来做语义分割的开山之作，意义还是非常之大的，目前其他的语义分割模型基本上都是在FCN的基础上做的一些改进。语义分割指的是对图片上的每一个像素所属的类别进行分类，可以应用在图像识别、分割、检测等领域，目前来看最好的应用场景是在自动驾驶上，用于识别道路、行人、车辆
2017-08-14 21:07:40
23036
5
原创 resNet论文笔记
《Deep Residual Learning for Image Recognition》是2016年CVPR的最佳论文，也是我Kaiming男神第二次获得CVPR的最佳论文，简直强的一批啊！摘要resNet主要解决一个问题，就是更深的神经网络如何收敛的问题，为了解决这个问题，论文提出了一个残差学习的框架。然后简单跟VGG比较了一下，152层的残差网络，比VGG深了8倍，但是比VGG复杂度更低，当
2017-08-11 20:50:23
5888
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人