机器学习
1.概念:
具备找一个函数的能力(looking for function)
能够识别输入,找到对应函数,给出相应输出
2.类别
1)regression回归
输出是数值(scalar)的函数
2)classification分类
要提前准备选项(class) ,以供函数输出
例:
3.案例
YouTube点击率
1)写出带有未知参数的函数式——模型(model)
:预测值
(feature):已知数据
(bias)和
(weight):未知参数
***权重和偏置实际未知,仅仅是源于已有资料的推测/猜测***
2)定义损失(loss)
采用模型:
用于评估和
的优劣——看
与实际值的差值
(MAE或MSE)
L越大,参数越差
- 标签(label):实际值
- 交叉熵:
- 误差表面:
红色误差大,紫色误差小
3) 最优化问题
目的:寻找让L最小的和
梯度下降
- 随机选取初始点
- 计算点
处的微分,向低处偏移
- 偏移步伐:1)与斜率成正比;2)受学习率
影响
- 多参数类似(偏微分计算即可)
问题:
- 会陷入局部最小值(极小值)
![]()
- 扩大数据集以求更优解
- 梯度下降不一定总是快速收敛,其收敛速度取决于多个因素,如学习率的选择、问题的性质、损失函数的形状和初始化参数等,有些情况会收敛得很慢
- 梯度下降算法在多参数情况下与单参数情况基本相同,但需要同时更新所有参数