深度学习基础
文章平均质量分 75
爱弹ukulele的程序猿
这个作者很懒,什么都没留下…
展开
-
深度学习面试
1 列举常见的范数以及其应用场景L1 :L1正则化会产生稀疏的求解,会使参数变得更加稀疏,广泛的用于特征选择。 L2:对较高方差输入的x,与输出目标协方差较小的特征权重将要收缩。...原创 2018-09-17 09:16:37 · 170 阅读 · 0 评论 -
深度学习基础——Dropout & Dropconnect
原创 2018-09-17 18:40:43 · 511 阅读 · 0 评论 -
深度学习基础(五)—— 数据预处理
1 预处理之白化Whitening1.1 PCA主成分分析法,一般用于数据降维。WHY?特征具有相关性特征多,样本少,过拟合。1.1.1 PCA计算过程PCA的计算过程: 对特征进行方差归一化,分别求 x 和 y 的平均值,并减去对应的均值 求特征协方差矩阵 求解协方差矩阵的特征值和特征向量将特征值从大到小进行排序,选择其中最大的 k 个,然后将...原创 2018-09-07 21:55:29 · 3881 阅读 · 0 评论 -
深度学习基础(四)—— 神经网络各层的意义
卷积层稀疏交互参数共享等变表示原创 2020-02-20 16:50:40 · 1476 阅读 · 0 评论 -
深度学习基础(三)——优化算法
1 优化算法1.1 局部最小值点1.2 鞍点2 梯度下降法和随机梯度下降法2.1 梯度下降法2.1.1 一维梯度下降法2.1.2 学习率2.1.3 多维度梯度下降2.2 随机梯度下降法2.3 小批量随机梯度下降法3 动量法3.1 指数加权平均(EMA)3.2 由指数加权移动平均理解动量法3.2 Nesterov4 Adagrad5 RMSprop...原创 2018-09-13 18:43:12 · 4029 阅读 · 0 评论 -
深度学习基础(二)——Softmax回归与Logistic回归
1 简介Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签yy \textstyle y 可以取两个以上的值。 Softmax回归是有监督的,不过后面也会介绍它与深度学习/无监督学习方法的结合。1.1 Logistic回归我们的训练集由 mm\textstyle m 个已标记的样本构成:{(x(1),y(1)),…,(x(m),y(...原创 2018-09-11 11:38:12 · 822 阅读 · 0 评论 -
深度学习基础(一)——反向传播算法
概述梯度下降法需要利用损失函数对所有参数求梯度,来寻找最小值点。而反向传播法就是用于计算该梯度的方法,其本质利用链式法则对每个参数求导。网络传播的过程前向传播Initialize the parameters for for an LLL-layer neural network.Implement the forward propagation module. Co...原创 2018-09-03 20:18:41 · 662 阅读 · 0 评论 -
深度学习基础(六)—— 批标准化 (Batch Normalization)
特征数据的标准化针对每一类型做标准化而不是整个数据令数据统一跨度加速数据处理 两种标准化的方法: Batch Normalization将分散数据统一的一种方法,神经网络训练过程中,网络越深信息损失会严重...原创 2018-09-05 16:40:33 · 2061 阅读 · 0 评论 -
深度学习基础(七)—— Activation Function
1. Sigmoid函数定义: f(x)=11+e−xf(x)=11+e−xf(x)=\frac{1}{1+e^{-x}} 对应的图像是: 优点:Sigmoid函数的输出映射在(0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层。求导容易。缺点:sigmoid容易饱和,出现梯度消失的现象。 sigmoid神经元的一个很差的属性就是神经元的活跃度在0和...原创 2018-09-06 19:05:04 · 451 阅读 · 0 评论