李宏毅机器学习笔记（一）

1.回归

(1) Loss function ： 预测值与真实值的差

 (2)Optimization

 

 question：w的更新策略为什么如上所示？

 

 机器学习的训练基本步骤：

定义函数拟合data->定义损失函数并训练->优化损失函数以确定拟合的函数的未知参数

 （3）讨论：linear mode与nonlinear function(model)

linear model is too simple， it can't solve complicated task. So it needs sophisticated model.

红线（代表一个复杂的模型函数，是很多问题的中输出曲线）=常值+多个线性函数的集合

 核心思想就是：用线性函数集合近似化非线性函数

 

 

 (上图的蓝色实线是构成非线性函数的基础，它可以用sigmoid函数近似替代)

sigmoid函数有三个未知数 （w、b、c），通过设置三者数值，就可以得到不同的斜坡函数，也就可以得到不同的非线性函数

 

 

 

 

 

 因此机器学习求解的第一步定义的函数可以写成如上所示的形式，在做这个函数中未知数有b、c、b(和前一个不同，此为(sigmoid函数里的b)和W。为了方便做矩阵形式表示，把他们都写进一个待优化参数矩阵θ。

 

 

 

通常优化参数是利用1个batch，而不是整个数据集。 

 ​​​​​​​

 

两个ReLu可以替代一个sigmoid 。 

 

线性回归的一般步骤：

• step1：模型假设，选择模型框架（线性模型）
• step2：模型评估，如何判断众多模型的好坏（损失函数）
• step3：模型优化，如何筛选最优的模型（梯度下降）

优化步骤：

(1) Step1优化：2个input的四个线性模型是合并到一个线性模型中

(2)Step2优化：如果希望模型更强大表现更好（更多参数，更多input）

(3)Step3优化：加入正则化