深度学习相关概念
文章平均质量分 78
SmallBambooCode
个人博客站:https://notes.smallbamboo.cn/
展开
-
【机器学习】【深度学习】优化器(Optimizer)
优化器(Optimizer)是深度学习中的一个核心的概念,用于更新神经网络的权重,以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异,而优化器的目标是通过调整网络参数来最小化这个差异,从而提高模型的准确性和性能。在神经网络训练过程中,优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数),优化器则使用这些梯度来更新模型的参数。原创 2024-06-08 09:29:07 · 3363 阅读 · 2 评论 -
【机器学习】【深度学习】批量归一化(Batch Normalization)
归一化指的是将数据缩放到一个固定范围内,通常是 [0, 1],而标准化是使得数据符合标准正态分布。归一化的作用是使不同特征具有相同的尺度,从而使模型训练更加稳定和快速,尤其是对于使用梯度下降法的算法。而标准化的作用加快模型收敛速度,提高模型的性能。批量归一化用于加速神经网络的训练并提高模型的稳定性。它在每个批次的数据上进行标准化,通过对每层的输入进行归一化处理,使得网络中间层的激活值保持在一个较小的范围内,有助于加速模型的收敛,同时减少了梯度消失和爆炸的问题。所以批量归一化特别适合深层网络。原创 2024-05-28 20:51:39 · 1000 阅读 · 0 评论 -
深度学习中的一些概念
欠拟合是指模型没有很好地捕获到数据特性,不能完整地表示数据的全部信息,也就是模型的复杂度低于应有的水平。例如,假设一个数据集实际上服从二阶多项式分布,但我们使用一阶线性模型去拟合它,这样的模型就会出现欠拟合。由于模型过于简单,它在训练集上的预测表现就会很差。原创 2024-05-12 20:53:00 · 376 阅读 · 0 评论 -
【Python】【机器学习】在训练代码中建立混淆矩阵
for t, p in zip(targets, preds)是同时遍历targets(真实标签)和真实标签对应的preds(预测标签),然后在conf_matrix的t.item()和p.item()位置更新混淆矩阵,也就是+=1。outputs.argmax(1)用于获取输出的最大预测值(也就是Top-1),output是二维张量:[batch_size, 类别数];preds是一维张量[batch_size],相当于提取出一个类别。原创 2024-05-18 10:12:00 · 634 阅读 · 0 评论 -
【Python】【PyTorch】超参数对于训练的影响
示例EpochsBatch SizeLearning Rate总结Epochs(训练轮数)Test Accuracy: 增加训练轮数可以提高测试准确率,特别是在Test Accuracy尚未收敛时。训练轮数过多可能导致过拟合,反而降低测试的准确率。当训练轮数合适时,测试准确率会逐渐提高并趋于稳定。Test Loss: 在模型尚未收敛时,增加训练轮数可以降低测试损失。但过多的训练轮数可能导致过拟合,进而测试损失上升。当训练轮数合适时,测试损原创 2024-05-20 15:17:50 · 544 阅读 · 0 评论 -
【Python】【机器学习】混淆矩阵的各项指标计算
False Negative (FN) = **明明是正例,但很不幸,我猜它是反例的数量。精确率(Precision)精确率表示**模型预测为正类的样本中,实际为正类的比例。**它衡量了模型在正类预测中的准确性。召回率(Recall)召回率表示**实际为正类的样本中,被模型正确预测为正类的比例。True Negative (TN) = **是反例,且很幸运我也猜它是反例的数量。True Positive (TP) = **是正例,且很幸运我也猜它是正例的数量。**此处4表示有4张图片是猫,且我也猜它是猫。原创 2024-05-17 14:08:45 · 1478 阅读 · 0 评论 -
【机器学习】【深度学习】正则化(Regularization)
过拟合意味着模型具有很高的方差(高方差意味着模型对训练数据中的微小变化非常敏感),当你的模型中的参数越多,模型的灵活性就越大(拟合能力强),在模型中调整的东西越多,就越有可能有高方差。例如我们现在要把右图的灰色和绿色点区分开,需要使用神经网络进行拟合函数,若函数有n次项,那么预测函数就会有n个弯曲点,弯曲点越多在某种程度上表示拟合度更大,所以我们需要减少高次项或者其权重(高次项的系数)。正则化有两种方式,第一种是限制模型的灵活性,例如有L1正则化,L2正则化,Dropout和Early Stoping。原创 2024-05-22 16:02:00 · 1353 阅读 · 0 评论