学习李宏毅苹果书第一章:
-
1.机器学习和深度学习基础
- 机器学习是使机器能够找到一个函数的过程,该函数能将输入(如图像、声音)转换为有用的输出(如标签、文字)。
- 深度学习是机器学习的一个子领域,使用神经网络特别是多层结构处理更复杂的问题。
-
2.机器学习任务类型
- 回归任务:输出为连续数值,例如预测房价或股票价格。
- 分类任务:输出为离散类别,例如图像识别或垃圾邮件检测。
- 结构化学习任务:输出为有结构的输出,例如生成文本或图像。
-
3.案例学习:视频点击次数预测
- 通过历史数据预测未来的观看次数,使用的模型为简单线性回归:y=b+wxy = b + wxy=b+wx其中 yyy 是目标变量,xxx 是特征(前一天的观看次数),bbb 和 www 是模型参数。
- 损失函数用于评估预测值与实际值之间的差异,常见的有平均绝对误差(MAE)和均方误差(MSE)。
-
4.梯度下降优化
- 梯度下降是一种优化算法,用于找到使损失函数最小化的模型参数。
- 通过迭代调整参数,逐步逼近最小损失解,每次迭代中参数的更新依赖于损失函数相对于该参数的梯度。
- 学习率决定了每一步更新的幅度,太大可能导致过冲,太小则收敛速度慢。
书中图1.3
图解:
图1.3-优化过程:
梯度下降示意: 这张图展示了梯度下降算法如何工作,包括如何选择初始点,如何根据损失函数的梯度调整参数,以及如何迭代优化以逐渐减少损失 。
斜率判断: 图中展示了在不同斜率条件下参数如何更新,如果斜率为负,则增加参数值以降低损失;如果斜率为正,则减少参数值。
-
5.超参数和模型调整
- 超参数,如学习率和迭代次数,需要在训练前设定,通常通过验证集来调整这些参数以优化模型性能。
- 在实际应用中,根据任务的不同,可能需要调整模型结构或选择不同的损失函数和优化算法。
书中图1.4
图1.5-梯度下降优化的过程
图解:
图 1.4 和图 1.5:局部最小值和梯度下降优化
- 局部与全局最小: 局部最小值问题在深度学习优化中非常常见,这种情况下,虽然找到了一个使损失最小的点,但可能不是全局最小值。图中展示了如何区分全局最小值和局部最小值 。
- 优化过程: 进一步展示了如何通过迭代过程逐步调整参数以寻找最优解,包括初始点的选择和步长的影响。