Datawhale X 李宏毅苹果书 AI夏令营

机器学习

1.概念：

         具备找一个函数的能力（looking for function）

能够识别输入，找到对应函数，给出相应输出

2.类别

1）regression回归

输出是数值（scalar）的函数

2）classification分类

要提前准备选项（class） ，以供函数输出

例：

3.案例

YouTube点击率

1）写出带有未知参数的函数式——模型（model）

• ：预测值
• （feature）：已知数据
• （bias）和（weight）：未知参数

***权重和偏置实际未知，仅仅是源于已有资料的推测/猜测***

2）定义损失（loss）

采用模型：

用于评估和的优劣——看与实际值的差值（MAE或MSE）

L越大，参数越差

• 标签（label）：实际值
• 交叉熵：
• 误差表面：
• 红色误差大，紫色误差小

3） 最优化问题

目的：寻找让L最小的和

梯度下降

• 随机选取初始点
• 计算点处的微分，向低处偏移
• 偏移步伐：1）与斜率成正比；2）受学习率影响
• 
• 多参数类似（偏微分计算即可）

问题：

• 会陷入局部最小值（极小值）

 

• 扩大数据集以求更优解
•  梯度下降不一定总是快速收敛，其收敛速度取决于多个因素，如学习率的选择、问题的性质、损失函数的形状和初始化参数等，有些情况会收敛得很慢
•  梯度下降算法在多参数情况下与单参数情况基本相同，但需要同时更新所有参数