2018年12月_cdknight_happy

原创 deeplearning.ai第二课第三周：超参数调试、BN层

1 超参数调试不同的超参数有不同的重要程度。比如，学习率一般最重要，momentum中的β\betaβ值、隐藏单元数量、mini-batch的size次之，隐藏层的数量、权重衰减规则更次之。至于Adam中，一般都是用β1=0.9,β2=0.999,ϵ=10−8\beta_1 = 0.9,\beta_2 = 0.999,\epsilon = 10^{-8}β1=0.9,β2=0.999,ϵ=1...

2018-12-31 21:01:38 382

原创 deeplearning.ai第二课第二周：优化算法

本文作为对https://blog.csdn.net/cdknight_happy/article/details/84835809的补充。1 mini-batch梯度下降算法批梯度下降法持续收敛，但每一轮迭代的计算太耗时；随机梯度下降使用单个样本计算损失，波动较大；mini-batch进行以小batch为单位的梯度下降，既可以利用向量化带来的计算优势，又可以避免随机梯度下降过程中太大的波动。...

2018-12-25 22:09:59 169

原创 deeplearning.ai第二课第一周：深度学习实用技巧

1 训练/验证/测试集机器学习/深度学习中，一般会把数据集分为训练集(training set)、验证集(validation set/development set,dev set)、测试集(test set)三部分。训练集用于对模型进行训练；验证集用于对单一指标进行确定，如选择算法，确定参数；测试集用于对最终的模型性能进行评估。传统机器学习中，样本量有限，可能是100，1000，1000...

2018-12-23 13:20:25 261

原创 deeplearning.ai学习笔记：第一课第四周

1 深层神经网络参数：W[l]∈Rnl×nl−1W^{[l]} \in R^{n_l \times n_{l-1}}W[l]∈Rnl×nl−1b[l]∈Rnl×1b^{[l]} \in R^{n_l \times 1}b[l]∈Rnl×1dW[l]∈Rnl×nl−1dW^{[l]} \in R^{n_l \times n_{l-1}}dW[l]∈Rnl×nl−1db[l]∈R...

2018-12-20 22:01:58 249

原创 Multi-attribute Learning for Pedestrian Attribute Recognition in Surveillance Scenarios

1 简介自然场景下的属性识别，如人脸识别、目标识别，已经取得了良好的识别效果。但是，监控场景下图像分辨率小、模糊，包含大的姿势和光线变化，识别效果并不理想。作者提出使用CNN模型进行行人属性识别。核心点：使用卷积神经网络(CNN)进行特征提取；设计DeepSAR网络进行单个属性的识别；设计DeepMAR网络多属性的联合识别，如长头发的行人性别更可能是女；设计了加权sigmoid交叉...

2018-12-19 14:54:37 1809 2

原创 deeplearning.ai学习笔记：第一课第三周

1 神经网络的表示在计算神经网络的层数时，一般不把输入层计算在内。如一个由输入层、单隐藏层、输出层组成的神经网络，一般叫做是两层的神经网络。上述单隐藏神经元的神经网络，神经元要做两件事情，一是计算z=wTx+bz = w^Tx+bz=wTx+b，即计算输入和权重的内积；二是应用非线性激活函数，计算a=σ(z)a = \sigma(z)a=σ(z)，增强神经网络的表达能力。对第一个隐藏层神...

2018-12-16 21:21:10 262

原创 deeplearning.ai学习笔记：第一课第二周

1 二分类m样本数目，n样本特征数目建议使用的符号表示X=[∣∣∣&amp;nbsp;&amp;nbsp;&amp;nbsp;x(1)x(2)⋯x(m)&amp;nbsp;&amp;nbsp;&amp;nbsp;∣∣∣]∈Rn×m&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;y=[y(1)y(2)⋯y(m

2018-12-15 21:56:25 238

原创 deeplearning.ai学习笔记：第一课第一周

1 什么是神经网络？上图是传统意义上的神经网络。输入层、隐藏层、输出层；我们没有指定神经网络各隐藏单元的含义，只是给定了输入，也明确了输入的含义，由神经网络自己来确定各隐藏单元的含义；全连接的神经网络，连接数很多。2 用神经网络做监督学习监督学习：给定了数据集，我们知道正确的输出该是什么，并且相信输入和输出之间存在联系。目的就是训练神经网络找到输入和输出之间的正确联系。不同...

2018-12-12 21:25:49 139

原创深度学习中的梯度下降优化算法综述

1 简介梯度下降算法是最常用的神经网络优化算法。常见的深度学习库也都包含了多种算法进行梯度下降的优化。但是，一般情况下，大家都是把梯度下降系列算法当作是一个用于进行优化的黑盒子，不了解它们的优势和劣势。本文旨在帮助读者构建各种优化算法的直观理解，以帮助你在训练神经网络的过程中更好的使用它们。本文第二部分先简单叙述了常见的梯度下降优化算法；第三部分叙述了神经网络训练过程中存在的挑战；第四部分，我...

2018-12-06 16:05:59 1866

cdknight_happy的专栏