Datawhale X 李宏毅苹果书 AI夏令营 task1 学习笔记

 1.机器学习的基本概念：让机器寻找某个能解决问题的复杂函数。

机器学习的几个主要任务
1.regression
假设要找的函数解决的任务是输出是一个确定的数值，一个标量（scalar），这种机器学习的任务称为回归。找出这个函数的过程就叫regression

2.classification
分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。举个例子，疫情期间使用的人脸识别技术，是分类的某种再运用。分类不一定只有两个选项，也可以有多个选项。

     那么我们该如何让机器找到这个函数呢

首先我们要建立一个基本模型：如y = b + wx，此处b和w是未知数，是等待机器去检测的东西。

让后让机器以枚举的方式设置不同的b与w，将这种方式得出的y与实际数据相对比，求出loss。

loss是根据方差得出。loss越小，未知数拟合越好。

 常用优化办法为梯度下降

 

1. 梯度下降的基本原理

    •    目标：通过梯度下降找到函数的最优参数，使得损失函数最小化。
    •    计算过程：
    •    对每个参数  w  计算损失函数的梯度  。
    •    更新参数的公式为：

    •    其中， η  为学习率，用于控制每次更新的步长。

2. 梯度下降的优化步骤

    •    在训练过程中，参数  w  和偏置  b  的更新由每一步的梯度方向决定。
    •    每次更新后，损失函数沿着梯度的负方向下降，参数逐渐逼近最优解。
    •    更新过程中可能会遇到局部最小值或鞍点，需要调整超参数（如学习率）来避免陷入这些点。

3. 局部最小值与全局最小值

    •    局部最小值：在某个区域内，损失函数达到最低值，但不一定是全局最低值。
    •    全局最小值：在整个定义域内，损失函数达到最低值。
    •    在实际应用中，梯度下降法有可能只找到局部最小值，而非全局最小值。

4. 学习率的影响

    •    学习率  η  决定了每一步的更新幅度：
    •    学习率过大会导致参数更新过快，可能错过最优解或在最优解附近振荡。
    •    学习率过小则会使得收敛速度变慢，训练时间过长。

5. 超参数调整

    •    超参数是影响梯度下降效果的重要因素：
    •    学习率需要根据不同问题进行调整，以平衡收敛速度与稳定性。
    •    合理的学习率能有效避免陷入局部最小值并加速收敛。

6.弊端：梯度下降很大概率只能找到一个局部最小值，无法找到全局最小值。

学习感受与困难记录
在学习这部分内容时，我意识到机器学习的重要性和复杂性。理解不同类型的学习方法及其应用场景对深入掌握这门技术至关重要。我遇到的主要困难在于某些概念的理解需要结合实际案例，理论转化为实际应用也存在挑战。特别是深度学习模型的复杂性，让调试和优化的过程显得尤为困难。总的来说，这部分内容为我的后续学习奠定了扎实的基础。