机器学习笔记：线性回归与逻辑回归

1 线性回归

1. 公式
   $$f(x)=w^{T}x+b$$
2. 损失函数
   均方误差：
   $$loss=\sum _{i=1}^n(y-w^T{x}_i-b{)}^2$$
   其中$y$为实际值。
   均方误差有非常好的几何意义。它对应了常用的欧几里得距离或简称"欧氏距离" 。基于均方误差最小化来进行模型求解的方法称为最小二乘法（分别对$w$和$b$求偏导，令其等于0，再求解）。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

2 逻辑回归

1. 公式
   f ( x ) = g ( w T x + b ) g ( z ) = 1 1 + e − z f(x)=g(w^Tx+b)\\g(z)=\frac{1}{1+e^{-z}} f(x)=g(wTx+b)g(z)=1+e