CNN
文章平均质量分 63
善心怡huster
这个作者很懒,什么都没留下…
展开
-
卷积神经网络减小过拟合方法
卷积神经网络减小过拟合方法 防止过拟合的方法有三类:(1)人为增加数据集;(2)正则化;(3)Dropout。 人为增加数据集 在原有在训练图像识别的深度神经网络时,使用更多的图像数据集训练的模型会使训练的网络具有更好地泛化性能,减小过拟合。 增加图像数据集的方法是对原始图片进行旋转、镜像。 正则化 正则化有两种方法:L1正则化和L2正则化。 1、L1正则原创 2017-08-08 19:46:42 · 9593 阅读 · 0 评论 -
神经网络参数更新方法
神经网络参数更新方法 SGD及变种 1、普通SGD update SGD(Stochastic Gradient Descent)就是最常见的随机梯度下降。 向着参数的梯度的负方向改变(梯度方向是增加的方向)。 这里的x可以是权值w也可以是偏置b。 2、Momentum update 相比于普通SGD,这种方法在深度网络中收敛更好。原创 2017-08-08 21:07:59 · 11179 阅读 · 0 评论 -
神经网络激活函数和损失函数
激活函数 1、sigmoid sigmoid函数曲线如下: sigmoid激活函数,符合实际,当输入值很小时,输出接近于0;当输入值很大时,输出值接近于1。 但sigmoid激活函数有较大的缺点,是主要有两点: (1)容易引起梯度消失。当输入值很小或很大时,梯度趋向于0,相当于函数曲线左右两端函数导数趋向于0。 (2)非原创 2017-08-10 19:22:13 · 16851 阅读 · 0 评论 -
tensorflow入门实践例子—MNIST手写数字识别
MNIST是手写数字图像数据集,是一个用于图像识别基础数据集。 这里用tensorflow实现MNIST手写数据集,用两种方法:一种是普通的BP神经网络;另一种是卷积神经网络。 这里的Python版本是2.7,tensorflow版本是1.0。1、BP神经网络读取MNIST数据集文件mnist_input.py"""Functions for downloading and reading MN原创 2017-08-18 19:07:20 · 697 阅读 · 0 评论 -
tensorflow CNN实际例子
本程序对tensorflow建立CNN模型进行编程。程序中使用的数据集是钢板缺陷图像数据集。对钢板缺陷图形进行分类缺陷一共五类,每类图片数量是300张,一共1500张,训练集和我测试集的比例是4:1。图片尺寸是200×200。 程序包括两个文件: (1)训练集测试集生成文件:load.py (2)CNN模型建立、训练和测试文件:CNNmodel.pyload.py文件# load the da原创 2017-08-29 21:32:12 · 3166 阅读 · 4 评论 -
深度学习模型压缩加速
1、剪枝(1)Deep Compression这篇文章(Stanford的Song Han)如图 1所示,剪枝需要三个步骤,首先是训练一个普通的神经网络;然后我们选择一个阈值,将权重小于阈值的连接剪开,这样就得到一个稀疏连接的网络了(图 2);剪枝后网络性能肯定会下降一些,所以最后我们对这个稀疏网络进行再训练,将性能提上去。对AlexNet,剪枝可以减少9倍的参数,对VGG-16网络,剪枝能减少13原创 2017-10-11 23:28:15 · 3339 阅读 · 0 评论