吃瓜学习第二天（第三章）

学习书籍：西瓜书、南瓜书

学习视频：https://www.bilibili.com/video/BV1Mh411e7VU?p=3

3 线性模型

文章架构，1、线性模型基本形式 ，2、线性回归公式推导，3、线性回归代码

3.1 基本形式

机器学习三要素：

1. 模型：根据具体问题，确定假设空间 （即$y=kx+b$还是$y=k{x}^2+b$,归根到底就是拟合方式）

2. 策略：根据评价标准，确定选取最优模型的策略（通常会产出一个“损失函数”）

3. 算法：求解损失函数，确定最优模型

线性模型：
$$f(x)=w^{T}x+b$$

3.2 线性回归

目的：学得一个线性模型，尽可能的准确地预测实值输出标记，即求得w，b

公式推导： 线性回归的最小二乘估计和极大似然估计

3.2.1 最小二乘估计

最小二乘法：基于均方误差最小化来进行模型求解的方法

目的：试图找到一条直线，使得所有样本到直线上的欧式距离之和最小,即$argminE(w,b)$

公式：
$$\begin{gathered} E(w,b)=\sum _{i=1}^m(y_i-f(x_i){)}^2 \\ =\sum _{i=1}^m((y_i-(w{x}_i+b){)}^2 \\ =\sum _{i=1}^m(y_i-w{x}_i-b{)}^2 \end{gathered}$$

3.2.2极大似然估计

一、极大似然估计概念：

• 用途：估计概率分布的参数值 ,即求未知参数θ

• 方法：对于离散型（连续型）随机变量X，假设其概率质量函数为P(x;θ)（概率密度

  函数为p(x; θ)），其中θ为待估计的参数值（可以有多个）。现有$x_1,x_2,x_3,...,x_n$是

  来自X的n个独立同分布的样本，它们的联合概率为

• 公式：
  
  式中，其中$x_1,x_2,x_3,...,x_n$是已知量，θ是未知量，L(θ)为样本的似然函数；

  目的：即找到L(θ)最大时的θ

• 如何求解θ：

  第一步，写出随机变量的概率密度函数(X服从某个正态分布,X~N($\mu ，{\sigma }^2$))：
  
  第二步，写出似然函数 ：
  
  第三步，求出使得似然函数最大的$\mu ，{\sigma }^2$ ：

  为了便于求解，引入对数似然函数$lnL(\mu ，{\sigma }^2)$:
  
  二、线性回归带入极大似然估计：

• 第一步，假设线性回归模型：
  
  其中 为不受控制的随机误差，通常假设其服从均值为0的正态分布~N($0，{\sigma }^2$)

• 第二步，写出概率密度函数：
  
  等价替换：
  

• 第三步，代入，并求出误差公式（损失函数）：
  

• 第四步，求解：

  求解 和 其本质上是一个多元函数求最值（点）的问题，更具体点是凸函数求最值的问题

  1.证明上式是凸函数：

  • 如果 Hessian（海塞）矩阵是半正定的，则是凸函数。
    

    若实对称矩阵的所有顺序主子式均为非负，则该矩阵为半正定矩阵。

  2.利用凸函数的思路求解：