深度学习笔记
文章平均质量分 69
此专栏用来记录博主对于机器学习和深度学习的一些理解和体会,分享给大家,一起进步吧
小熊猫Q
这个作者很懒,什么都没留下…
展开
-
CNN可视化论文阅读
论文链接:https://arxiv.org/abs/1311.2901这篇文章采用反卷积的思想实现CNN特征可视化,首先介绍一下什么是反卷积网络。反卷积我们都知道CNN主要是由卷积层和下采样(pooling)层来构建网络结构,一层一层,通过对上一层的输出进行卷积或者pool从而得到维度小一点的feature maps。而反卷积网络则是一个让特征图像学着映射到原图像的方法,经典的反...原创 2018-09-03 20:53:11 · 1793 阅读 · 0 评论 -
CNN经典分类模型--AlexNet、VGG16、ResNet网络结构图
AlexNet网络结构图VGG16网络结构图ResNet网络结构图原创 2018-07-25 10:21:30 · 17189 阅读 · 4 评论 -
深度学习笔记(十三):L1、L2正则化
正则化(Regularization)机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般L1正则化和L2正则化,或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。一般回归分析中回归w表示特征的系数,从上式可以看到正则化项是对系数做了处理(限制)范数 数学上,范数是一个...原创 2018-08-28 19:09:02 · 2488 阅读 · 0 评论 -
深度学习笔记(十)--深度神经网络的致命问题
随着神经网络层数的加深,有三个重大问题:一是非凸优化问题,即优化函数越来越容易陷入局部最优解;二是(Gradient Vanish)梯度消失问题;三是过拟合问题。1、 非凸优化问题线性回归,本质是一个多元一次函数的优化问题,设f(x,y)=x+y多层神经网络,本质是一个多元K次函数优化问题,设f(x,y)=xy在线性回归当中,从任意一个点出发搜索,最终必然是下降到全局最小值...原创 2018-07-26 10:01:00 · 5569 阅读 · 1 评论 -
深度学习笔记(九)--激活函数
激活函数是为了给神经元引入非线性因素,使得神经网络可以逼近任意非线性函数,这样神经网络就可以应用于众多的非线性模型中。常见的几个激活函数有sigmod,Tanh,ReLU,softmax1、sigmod函数(logistic 函数)下图为对应的公式和曲线以及对应的求导曲线图:取值范围(0,1),可以用来做二分类。不过这个函数现在已经很少用了 ,主要原因是其在反向传播(BP)算法...原创 2018-07-26 09:49:14 · 672 阅读 · 1 评论 -
深度学习笔记(九)--CNN详述
CNN即Convolutional Neural Networks即卷积神经网络,是一种多层神经网络,擅长处理图像特别是大图像的相关机器学习问题。卷积神经网络通过一系列方法,成功将数据量庞大的图像识别问题不断降维,最终使其能够被训练。CNN最早由Yann LeCun提出并应用在手写字体识别上(MINST)。LeCun提出的网络称为LeNet,其网络结构如下:可以看出,CNN中主要有两种...原创 2018-07-26 09:34:54 · 1267 阅读 · 0 评论 -
深度学习笔记(八):目标检测性能评价指标(mAP、IOU..)
一、mAP 这里首先介绍几个常见的模型评价术语,现在假设我们的分类目标只有两类,计为正例(positive)和负例(negtive)分别是: 1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数); 2)False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数;...原创 2018-07-26 09:11:07 · 52613 阅读 · 14 评论 -
深度学习笔记(三)--目标检测算法综述
目前目标检测领域的深度学习方法主要分为两类:two stage的目标检测算法;one stage的目标检测算法。前者是先由算法生成一系列作为样本的候选框,再通过卷积神经网络进行样本分类;后者则不用产生候选框,直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异,在性能上也有不同,前者在检测准确率和定位精度上占优,后者在算法速度上占优。相对于R-CNN系列的"看两眼"(候选框提取与...原创 2018-07-25 16:39:01 · 18002 阅读 · 0 评论 -
深度学习笔记(七)--ResNet(残差网络)
内容来自吴恩达老师视频,网易云课堂有哦ResNets非常非常深的神经网络是很难训练的,因为存在梯度消失和梯度爆炸问题。ResNets是由残差块(Residual block)构建的,首先解释一下什么是残差块。这是一个两层神经网络,在 层进行激活,得到 ,再次进行激活,两层之后得到 。计算过程是从 开始,首先进行线性激活,根据这个公式: ,通过 算出 ,即 乘以权重矩阵,再加上偏差因...原创 2018-07-25 17:54:23 · 108006 阅读 · 27 评论 -
深度学习笔记(六)--VGG16网络
内容来自吴恩达老师视频哦,网易云课堂有哦VGG-16VGG,也叫作VGG-16网络。值得注意的一点是,VGG-16网络没有那么多超参数,这是一种只需要专注于构建卷积层的简单网络。首先用3×3,步幅为1的过滤器构建卷积层,padding参数为same卷积中的参数。然后用一个2×2,步幅为2的过滤器构建最大池化层。因此VGG网络的一大优点是它确实简化了神经网络结构,下面我们具体讲讲这种网络结构...原创 2018-07-25 17:44:12 · 44575 阅读 · 8 评论 -
深度学习笔记(五)--AlexNet网络
AlexNet神经网络AlexNet,是以论文的第一作者Alex Krizhevsky的名字命名的,另外两位合著者是Ilya Sutskever和Geoffery Hinton。 AlexNet首先用一张227×227×3的图片作为输入,实际上原文中使用的图像是224×224×3,但是如果你尝试去推导一下,你会发现227×227这个尺寸更好一些。第一层我们使用96个11×11的过滤器,...原创 2018-07-25 17:37:22 · 714 阅读 · 0 评论 -
深度学习笔记(四)--LeNet-5网络
类 LeNet-5卷积运算网络实例假设,有一张大小为32×32×3的输入图片,这是一张RGB模式的图片,你想做手写体数字识别。32×32×3的RGB图片中含有某个数字,比如7,你想识别它是从0-9这10个数字中的哪一个,我们构建一个神经网络来实现这个功能。LeNet-5是多年前Yann LeCun创建的,此例子采用的模型并不是LeNet-5,但是受它启发,许多参数选择都与LeNet-5...原创 2018-07-25 17:28:40 · 807 阅读 · 2 评论 -
深度学习笔记(二):DL资料汇总
吴恩达机器学习、深度学习笔记:百度云https://pan.baidu.com/s/1l5q5BUXBG4CGAM4TlkVtoQ 密码:hvo2注:此笔记为黄博主持编写、整理,小编只是借花献佛。另外网易云课堂有对应视频教程,地址如下:http://mooc.study.163.com/smartSpec/detail/1001319001.htm台大李宏毅教授的一天搞懂深度学习P...原创 2018-07-24 16:24:14 · 1187 阅读 · 0 评论 -
深度学习笔记(一):图像理解的三个层次
deep learning 简称DL,小编刚接触计算机视觉利用深度学习进行图像处理,先普及一下对图像进行处理的三个层次。一是分类(classification)即是将图像结构化为某一类别的信息,用事先确定好的类别(string)或实例ID来描述图片。其中ImageNet是最权威的测评集,每年的ILSVRC催生大量优秀的深度网络结构,为其他任务提供基础,在应用领域,人脸、场景识别都可以视为分...原创 2018-07-24 15:58:03 · 10147 阅读 · 0 评论