![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
米翁方
这个作者很懒,什么都没留下…
展开
-
DeepLearning历程梳理从LeNet至YOLO2
目录 目录一 LeNet-5二 AlexNet三 Network in Network四 VGGNet五 GoogLeNet六 ResNet七 R-CNN八 SPP-NET九 Fast-RCNN十 Faster-RCNN十一 YOLO v1十二 SDD十三 YOLO v2和YOLO 9000 附:所有的网络训练都涉及前向传播和反向...原创 2018-08-29 13:47:37 · 1096 阅读 · 0 评论 -
resnet与densenet的区别
第一个公式是ResNet的。这里的l表示层,xl表示l层的输出,Hl表示一个非线性变换。所以对于ResNet而言,l层的输出是l-1层的输出加上对l-1层输出的非线性变换。第二个公式是DenseNet的。[x0,x1,…,xl-1]表示将0到l-1层的输出feature map做concatenation。concatenation是做通道的合并,就像Inception那样。而前面resn...原创 2018-12-06 15:49:54 · 5293 阅读 · 0 评论 -
深度学习(六)激活函数
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com一、sigmoid 把输入的连续实值“压缩”到0和1之间,Sigmoid激活函数给神经网络引进了概率的概念。它的导数是非零的,并且很容易计算(是其初始输出的函数)。然而,在分类任务中,sigmoid 正逐渐被...原创 2018-12-06 15:48:07 · 339 阅读 · 0 评论 -
深度学习(四)cnn反向传播
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com cnn反向传播 http://www.cnblogs.com/pinard/p/6494810.html1. 回顾DNN的反向传播算法 ...原创 2018-12-06 15:44:45 · 225 阅读 · 0 评论 -
深度学习(四)cnn前向传播
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com总结:http://www.cnblogs.com/pinard/p/6489633.html 下面详细说明 三个重点:1 输入层的前向传播;2 卷积层的前向传播;3 池化层的前...原创 2018-12-06 15:43:53 · 1165 阅读 · 0 评论 -
深度学习(七)梯度下降法
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。总结如下下面我们以线性回归算法来对三种梯度下降法进行比较。 ...原创 2018-12-06 15:41:47 · 809 阅读 · 0 评论 -
深度学习(八)正则化Regularization
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com参考:https://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先...原创 2018-12-06 15:39:20 · 493 阅读 · 0 评论 -
深度学习(九)dropout与Batch norm
一、Dropout,大部分实验表明其具有一定的防止过拟合的能力。最早的Dropout可以看Hinton的这篇文章 《Improving neural networks by preventing co-adaptation of feature Detectors》如上图左,为没有Dropout的普通2层全连接结构,记为 r=a(Wv),其中a为激活函数。如上图右,为在第2层全...原创 2018-12-06 15:36:14 · 3637 阅读 · 0 评论 -
深度学习(三)cnn原理与结构
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com以LeNet-5为例说明:输入:32*32的手写字体图片,这些手写字体包含0~9数字,也就是相当于10个类别的图片输出:分类结果,0~9之间的一个数因此我们可以知道,这是一个多分类问题,总共有十个...原创 2018-12-06 15:34:33 · 472 阅读 · 0 评论 -
深度学习(一)逻辑回归
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com一、逻辑回归逻辑回归(logistic regress)是一个二分类的问题,其输出y的值为0或1。用于解决监督学习问题的学习算法。logistic regress的目的就是使预测值与真实值之间的误差最小。损失函数...原创 2018-12-06 15:32:44 · 2343 阅读 · 0 评论 -
深度学习(二)卷积计算
写在前面:所有关于深度学习的基础知识均为鄙人的笔记分享,很多内容摘自大神们的博客或论文,因时间太长记不清了分别来自哪里。若有侵权,请联系鄙人邮箱min.wenfang@qq.com目前,卷积的计算大多采用间接计算的方式,主要有以下三种实现方式:im2col + GEMM。 caffe等很多框架中都使用了这种计算方式,原因是将问题转化为矩阵乘法后可以方便的使用很多矩阵运算库(如MKL、ope...原创 2018-12-06 15:30:15 · 2610 阅读 · 0 评论 -
Liberty_NotreDame_Yosemite数据集
该数据集应用于图像匹配 供下载网址:http://phototour.cs.washington.edu/patches/default.htm 或 http://matthewalunbrown.com/patchdata/patchdata.html 每个压缩文件夹中均包含若干个1024*1024(.bmp)的图像,每个图像又包含16*16个image_patch,每个imag...原创 2018-08-29 14:13:17 · 2320 阅读 · 0 评论 -
图像相似度
近来(2015-2017年),利用深度学习计算图像相似度(也可理解为图像匹配)的思想非常相似,皆源于Siamese Networks(经典老文献《Signature Verification Using a Siamese Time Delay Neural Network》)。目的就是比较两幅图片是否相似,或者说相似度是多少,因此构建的卷积神经网络模型的输入就是:两幅图片,然后网络的输出是一个相...原创 2018-08-29 14:11:56 · 10708 阅读 · 1 评论 -
表情识别实验
1.实验数据 实验数据采用Kaggle的一个表情分类比赛数据(https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data),该数据集包含三万多张人脸图片,每张图片被标注为“0=Angry, 1=Disgust, 2=Fear, 3=H...原创 2018-08-29 13:55:11 · 2940 阅读 · 2 评论