- 博客(8)
- 收藏
- 关注
RSS订阅原创 卷积神经网络-Datawhale X 李宏毅苹果书 AI夏令营
通过卷积运算提取图像的特征，将输入图像的特征图与多个滤波器（filters）进行卷积操作，输出多个特征图。每个滤波器检测不同的特征。：稀疏连接指的是在卷积神经网络中，每个神经元只与输入的一部分连接，而不是与所有输入相连。：共享参数是指卷积神经网络中，不同位置的神经元使用相同的卷积核参数。：通过增加卷积层的数量，形成深度卷积网络，使得网络能够学习到更加复杂的特征表示。：卷积核是用于卷积操作的矩阵，用来检测图像中的局部特征。：随着网络深度的增加，卷积操作的计算量成倍增加，需要有效的算法和硬件支持来加速计算。
2024-09-03 22:18:49
324
原创 实践方法论-Datawhale X 李宏毅苹果书 AI夏令营
模型优化需要在灵活性与过拟合之间取得平衡。通过数据增广、正则化等技术，可以有效地减少过拟合问题，同时，交叉验证和适当的模型复杂度选择也能帮助提升模型的泛化能力。此外，解决不匹配问题还需要关注训练和测试数据的分布差异，并进行相应的调整。
2024-09-03 21:51:19
276
原创 自适应学习率和分类-Datawhale X 李宏毅苹果书 AI夏令营
RMSProp在AdaGrad的基础上引入了指数加权移动平均的概念，使得学习率可以在整个训练过程中保持稳定，解决了AdaGrad在长时间训练后学习率过低的问题。：综合了AdaGrad和RMSProp的优点，通过计算梯度的一阶矩估计和二阶矩估计，对学习率进行更为精细的调整，进一步提升了优化效果。：AdaGrad根据以往梯度平方和的大小动态调整学习率，使得频繁更新的参数的学习率降低，减少学习的抖动性。：不同的学习率会影响梯度下降的速度和方向，过大的学习率可能会导致模型训练不稳定。
2024-08-31 12:53:37
253
原创 批量和动量-Datawhale X 李宏毅苹果书 AI夏令营
动量法通过考虑前一步的更新方向，来加速梯度下降过程，尤其在凹槽较深的情况下。较小的批量更有助于模型跳出局部最小值，但在一些极端情况下可能导致过度震荡，难以达到全局最优。随着批量大小的增加，计算时间呈现不同趋势。实验表明，在训练不同的模型时，小批量往往能够更快地跳出局部最小值，但在极端情况下（如批量大小极大时），会导致计算效率降低。小批量梯度下降法：结合两者优点，在一定范围内选择批量大小，既平衡计算速度又保证更新稳定性。在计算梯度时，并非使用所有数据来计算损失函数 L，而是将数据分成若干个批量进行处理。
2024-08-27 22:41:30
210
原创 局部极小值和鞍点-Datawhale X 李宏毅苹果书 AI夏令营
在高维空间中，梯度为零的鞍点非常普遍，因此优化问题常常遇到鞍点。：理解梯度和海森矩阵的作用，掌握如何通过特征向量选择更新方向，来在优化过程中有效地降低损失函数并逃离鞍点。：在高维度的神经网络中，鞍点是普遍存在的，需要通过特征值分析和梯度下降等策略来有效地逃离鞍点区域。在高维空间中，局部极小值的判断更加复杂，但通常特征值中既有正值也有负值的点即为鞍点。通过分析损失表面的曲率，可以判断当前的点是否为鞍点，并选择合适的路径来逃离。其中，g是梯度，H是海森矩阵（由二阶导数组成的矩阵，用于判断点的极值性质）
2024-08-27 22:24:44
201
原创 线性模型笔记-Datawhale X 李宏毅苹果书 AI夏令营
Hard Sigmoid 函数的特性是当输入的值，当 x 轴的值小于某一个阈值（某个定值）的时候，大于另外一个定值阈值的时候，中间有一个斜坡。线性模型有很大的限制，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。关于模型的变形，还可以把HardSigmoid 可以看作是两个修正线性单元的加总，ReLU 的图像有一个水平的线，走到某个地方有一个转折的点，变成一个斜坡，其对应的公式为。根据真实的数据情况调整写出新的模型，考虑了比较多的信息，加入了更多的权重，在训练数据上应该要得到更好的、更低的损失。
2024-08-26 22:52:19
145
原创 机器学习基础笔记--Datawhale X 李宏毅苹果书 AI夏令营
1、写出一个带有未知参数的函数 f（带有未知参数的函数称为模型，比如y = b + wx1，特征x1已知，w和b为未知参数）不同任务对应不同的函数类型。3、解一个最优化问题（把未知的参数找一组数值出来使损失的值最小；2、定义损失（估测的值和实际值之间的差距，有不同的计算方法，比如平均绝对误差、均方误差）2、当不断调整参数，调整到一个地方，它的微分的值就是这一项，算出来正好是 0 的时候。1、开始会设定说，在调整参数的时候，在计算微分的时候，最多计算几次。机器学习就是让机器具备找一个函数的能力。
2024-08-25 16:33:01
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人