本文探讨深度学习中的优化问题，包括优化目标与深度学习的差异，深度学习中的挑战如局部最小值和鞍点。重点讲解了梯度下降法，如批量梯度下降和随机梯度下降。数据增强部分介绍了图像增广技术，如翻转和裁剪，以及其在缓解过拟合和提高模型泛化能力方面的作用。此外，文章涉及模型微调，包括迁移学习和微调过程。最后提到了词嵌入的基础和进阶，如Word2Vec模型的Skip-Gram和CBOW模型。
一、优化：
1.优化与深度学习不同之处
• 优化方法目标：训练集损失函数值
• 深度学习目标：测试集损失函数值（泛化性）
2.优化在深度学习中的挑战
• 局部最小值
• 鞍点
• 梯度消失
二、梯度下降
1.批量梯度下降和随机梯度下降
批量梯度下降—最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小。
随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
三、数据增强
1.图像增广
大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出现位置的依赖性。我们也可以调整亮度、色彩等因素来降低模型对色彩的敏感度。可以说，在当年AlexNet的成功中，图像增广技术功不可没。本节我们将讨论这个在计算机视觉里被广泛使用的技术。
2.常用的图像增广方法
• 翻转和裁剪
• 变化颜色
•
最低0.47元/天 解锁文章
282
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
