机器学习
文章平均质量分 77
忆南妄北
这个作者很懒,什么都没留下…
展开
-
机器学习梯度检验笔记
梯度的数值逼近 在实施dropout时,由于无法保证dropout是否正确,需要梯度检验来确保网络的正确。具体步骤是我们先通过双边差分计算出一个近似的梯度,和代码计算出的梯度比较,如果二者差的绝对值小于一个阈值,就可以认定计算正确。设函数f如下图所示: 对点θ\thetaθ加减ε\varepsilonε,其中ε\varepsilonε越小越好,由拉格朗日中值定理得:f′(θ)=f(θ+ε)−f(θ−ε)2ε=3.000f^{'}(\theta) = \frac{f(\theta + \vare原创 2022-05-14 17:46:56 · 494 阅读 · 0 评论 -
机器学习梯度消失与梯度爆炸笔记
梯度消失与梯度爆炸假设当前有如下的神经网络,设激活函数为g(z)=zg(z) = zg(z)=z,偏置值b为b[l]=0b^{[l]} = 0b[l]=0,y^\hat{y}y^取值如下:y^=W[l]W[l−1]W[l−2].....W[3]W[2]W[1]X\hat{y} = W^{[l]}W^{[l-1]}W^{[l-2]}.....W^{[3]}W^{[2]}W^{[1]}Xy^=W[l]W[l−1]W[l−2].....W[3]W[2]W[1]X设每一层的W都是比1大一点点,如下原创 2022-05-14 16:40:30 · 320 阅读 · 0 评论 -
机器学习标准化化输入笔记
归一化输入在训练神经网络中,一个加速训练的方法就是标准化输入,标准化输入总共需要两个步骤:零均值化,过程如下:μ=1m∑i=1mx(i)\mu = \frac{1}{m}\sum_{i=1}{m}x^{(i)}μ=m1i=1∑mx(i)x=x−μx=x-\mux=x−μ此时样本的均值为0。归一化方差,公式如下σ2=1m∑i=1mx(i)∗∗2\sigma ^ {2} = \frac{1}{m}\sum_{i=1}{m}x^{(i)}**2σ2=m1i=1∑mx(i)∗∗2原创 2022-05-14 14:49:19 · 587 阅读 · 0 评论 -
深度学习Dropout笔记
Dropout含义 dropout含义就是在一个神经网络中,每个隐藏层都有一个概率,是用来判断节点保留或者消除的,将一个大的神经网络通过消除节点变为一个小的神经网络,防止过拟合的发生。如下图所示,每个隐藏层节点是否保留的概率都是0.5。 对一个样本训练时,消除一些节点后如下: 其他样本训练时同样是通过概率判断是否消除每个节点。Dropout实施方法–Inverted dropout(反向随机是活) 假设当前是一个三层的神经网络l=3,keep-prob = 0.8。 首先初始化一个原创 2022-05-14 12:26:28 · 327 阅读 · 0 评论 -
深度学习中偏差和方差
本文部分内容摘自https://blog.csdn.net/wuzqChom/article/details/75091612从上面可以看出来均方误差由方差和偏差构成,那偏差和方差的高低又代表什么呢?偏差与方差在训练结果中的表现 如上图所示,高偏差代表训练结果欠拟合。而高方差代表训练结果为过拟合。偏差描述的是算法的预测的平均值和真实值的关系(可以想象成算法的拟合能力如何),而方差描述的是同一个算法在不同数据集上的预测值和所有数据集上的平均预测值之间的关系(可以想象成算法的稳定性如何)。 通过原创 2022-05-12 15:42:10 · 637 阅读 · 0 评论 -
机器学习正则化
正则化作用在机器学习中,通常会在损失函数后加入正则项来防止模型过拟合。L1正则化 L1正则化公式为: L为损失函数,W为网络权重,b为偏置值,m为样本数量,n_x为网络层数,λ\lambdaλ是超参数。L2正则化 L2正则化公式为: L为损失函数,W为网络权重,b为偏置值,m为样本数量,n_x为网络层数,λ\lambdaλ是超参数。L2正则化含义 在对W进行梯度下降时,对于第l层的参数W[l]W^{[l]}W[l]更新过程如下: 先计算w[l]w^{[l]}w[l]的梯度原创 2022-05-12 17:27:38 · 3289 阅读 · 0 评论 -
padlepadle实现手写数字识别
目标通过构建ANN,实现对手写数字识别,并对自己手写的数字进行预测源码地址添加链接描述数据分析数据集为60000个训练样本和10000个测试数据,每个样本为图片和标签,图片大小为28*28,标签为0-9的数字代码实现导包import numpy as npimport paddleimport paddle.fluid as fluidfrom PIL import Imageimport matplotlib.pyplot as pltimport os获取数据并创建数据读取原创 2020-10-30 20:43:42 · 834 阅读 · 0 评论