吃瓜教程2——线性回归（西瓜书第3章）

目录

一、基本形式

1.问题描述

2.函数形式

3.向量形式

二、线性回归

1.问题描述

2.一元线性回归

目标函数（最小二乘法）

 目标函数求解（线性回归模型对最小二乘“参数估计”）

3.多元线性回归

关系式

目标函数

---

一、基本形式

1.问题描述

给定由d个属性描述的示例其中xi是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数

2.函数形式

3.向量形式

w 和 b学的之后模型得以确定

二、线性回归

1.问题描述

给定数据集D={（x1，y1），（x2，y2），...，（xm，ym）}，其中xi=（xi1；xi2；...；xid；）yi∈。“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

2.一元线性回归

问题描述：只有一个函数，d = 1,w,b为单个数

目标函数（最小二乘法）

 目标函数求解（线性回归模型对最小二乘“参数估计”）

步骤:对w求导，对b求导，导数为零为最优解

 

 

3.多元线性回归

关系式

 f（xi）=wTxi+b，使得f（xi）yi

目标函数

类似的，可利用最小二乘法来对w和b进行估计。为便于讨论，我们把w和b吸收入向量形式=（w；b），相应的，把数据集D表示为一个m×（d+1）大小的矩阵X，其中每行对应于一个示例，该行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即

 再把标记也写成向量形式y=（y1；y2；...；ym）