神经网络
文章平均质量分 66
Parallax_2019
初极狭,才通人。复行数十步,豁然开朗。----T
展开
-
模型压缩(神经网络近似)
主要分三个手段:低秩近似:image2col可以转成矩阵,训练得到权重矩阵,对权重矩阵先SVD分解(特点:对角线上特征值越来越小),将后面较小的几位去掉。(SVD近似,KPSVD近似)。张量分解:比较work的代表,cp分解(应用:xception) 稀疏近似(将大部分都变成0):拿出权重看一下分布情况,发现权重数值大部分是以0为均值的高斯分布(但是不是0)。掩膜将一小比例部分权重数值强制为...原创 2020-03-14 21:32:33 · 627 阅读 · 0 评论 -
神经网络的前向后向及更新
前向目的:得到输出值 (即)后向目的:得到dz,dw,db(此处都是指dL/d...,损失函数对对应项的微分),进而得到梯度更新。(其中由于链式法则,dz,dw,db中都有y项)权重w(a,b): 维度a指本层的神经元个数,维度b指输入层X特征向量包含元素个数。a=(z), a:active function.程序实现时:每一个样本可以使用矩阵运算代替for循环,但是样本间的迭代还...原创 2018-10-28 14:31:34 · 924 阅读 · 0 评论 -
神经网络优化算法
数据集划分:train/dev/test 训练集、验证集、测试集三部分。(当没有测试集的时候,也把验证集叫做test sets).训练集:训练算法模型。验证集:验证不同算法的表现情况,选择最佳算法模型。测试集:测试最好算法的实际表现,作为该算法的无偏估计。(泛化能力)样本量<10000,6: 2:2。 样本量很大如100万,则98%:1%:1%。正则化:L1范数(也称参数洗...原创 2018-10-31 14:23:07 · 2052 阅读 · 0 评论 -
CS231n
图像分类是视觉领域的核心问题(基础问题)之一:已有一些有标签的多类图片数据集,输入图片给出分类标签。训练模型最终的目的是得到一个泛化能力强,测试集准确率高的模型,而不是说训练时拟合效果最好,但验证集和测试集变差。实际应用中我们需要是测试的时候快速高效,训练的时候慢一点无所谓。(CNN恰好满足这一点)验证集是为了选出一个最好的算法模型,测试集是为检验模型的泛化能力。数据驱动(已经有很...原创 2018-11-04 01:09:45 · 889 阅读 · 0 评论 -
线性回归的简单实现-mxnet
#构建数据集from mxnet import autograd, nd #引入自动求导和n维数组num_inputs = 2num_examples = 1000true_w = [2, -3.4]true_b = 4.2features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))labels...原创 2019-03-17 01:30:03 · 248 阅读 · 0 评论 -
图像的不变性及解决手段
平移不变性 旋转视角不变形 尺度不变性我们希望神经网络也能满足这些先验特性,一般是通过数据增强或模型结构优化来解决。平移不变:卷积层、权值共享、池化层旋转视角不变:数据增强,对数据进行旋转。卷积和池化层尺寸不变形(size-invariance):inception...原创 2019-03-29 19:57:22 · 1664 阅读 · 0 评论 -
Batch-normalization
1 提出背景1.1 炼丹的困扰在深度学习中,由于问题的复杂性,我们往往会使用较深层数的网络进行训练,相信很多炼丹的朋友都对调参的困难有所体会,尤其是对深层神经网络的训练调参更是困难且复杂。在这个过程中,我们需要去尝试不同的学习率、初始化参数方法(例如Xavier初始化)等方式来帮助我们的模型加速收敛。深度神经网络之所以如此难训练,其中一个重要原因就是网络中层与层之间存在高度的关联性与耦合性...转载 2019-04-30 02:47:16 · 258 阅读 · 0 评论