剑指offer
文章平均质量分 81
所谓大道至简,在面试过程中,很多面试的问题都非常注重对细节理解的考察,所以为了进一步巩固基础知识,对一些面试过程中经常出现的高频问题进行详细的推导的代码实现。
.别拖至春天.
UPC智能科学与技术《zhanghan.xyz》
展开
-
【剑指offer】常用的数据增强的方法
数据增强方法可以提高模型的泛化能力,从而提高模型的准确率。在实际应用中,常常需要根据具体的任务和数据集,选择合适的数据增强方法。数据增强是指通过对原始数据进行一系列变换来生成更多的训练数据,从而提高模型的泛化能力。以上代码仅为示例,实际应用时需要根据具体的任务和数据集进行调整和修改。原创 2023-04-14 03:30:00 · 726 阅读 · 1 评论 -
【剑指offer】反向传播
深度学习中的反向传播是一种基于梯度下降法的优化方法,用于计算神经网络中每个参数的梯度值,以便利用梯度下降法或其他优化方法来更新参数,从而最小化损失函数。反向传播的基本思想是通过链式法则计算整个神经网络中每个参数对损失函数的贡献,以便利用梯度下降法来更新参数。具体来说,反向传播算法从输出层开始,将输出误差反向传播到隐藏层和输入层,计算每个神经元的误差和梯度,并使用梯度下降法来更新参数。反向传播算法的关键在于计算每个神经元的误差和梯度,这可以通过链式法则来实现。原创 2023-04-13 22:44:13 · 1650 阅读 · 0 评论 -
【剑指offer】1*1卷积的作用
我们知道,卷积后生成图片的尺寸受卷积核的大小和跨度影响,但如果卷积核是 1x1 ,跨度也是 1,那么生成后的图像大小就并没有变化。1x1卷积核只有一个参数,当它作用在多通道的feature map上时,相当于不同通道上的一个线性组合,实际上就是加起来再乘以一个系数,但是这样输出的feature map就是多个通道的整合信息了,能够使网络提取的特征更加丰富。比如:在尺寸 3x3,64通道个数的卷积核后面添加一个尺寸1x1,28通道个数的卷积核,就变成了尺寸3x3,28尺寸的卷积核。原创 2023-04-03 16:33:17 · 718 阅读 · 0 评论 -
【剑指offer】梯度消失和梯度爆炸
当梯度消失发生时,接近于输出层的隐藏层由于其梯度相对正常,所以权值更新时也就相对正常,但是当越靠近输入层时,由于梯度消失现象,会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。假设每层学习梯度都小于最大值0.25,网络有n层,因为链式求导的原因,第一层的梯度小于0.25的n次方,所以学习速率就慢,对于最后一层只需对自身求导1次,梯度就大,学习速率就快。这会造成的影响是在一个很大的深度网络中,浅层基本不学习,权值变化小,后面几层一直在学习,结果就是,后面几层基本可以表示整个网络,失去了深度的意义。原创 2023-04-01 00:15:00 · 465 阅读 · 0 评论 -
【剑指offer】交叉熵损失函数
交叉熵损失函数是一种用于衡量模型预测输出与真实标签之间差异的损失函数。它通常用于分类问题中,其中模型输出的是一个概率分布,表示每个类别的可能性。交叉熵损失函数将真实标签的概率分布与模型预测的概率分布进行比较,计算它们之间的交叉熵。交叉熵越小,表示模型的预测结果越接近真实标签,因此优化交叉熵损失函数可以使模型更好地进行分类。原创 2023-04-02 14:10:21 · 774 阅读 · 0 评论 -
【剑指offer】BN层详解
BN层可以加速神经网络的收敛速度。减小模型对初始参数的依赖性,提高模型的鲁棒性。可以防止梯度消失和梯度爆炸的问题,有助于提高模型的稳定性。可以减少模型过拟合的风险,提高模型的泛化能力。总之,BN层是一种常用的正则化方法,可以有效地提高神经网络的训练速度和泛化能力。原创 2023-03-31 17:55:54 · 2619 阅读 · 0 评论