吃瓜教程——第3章

第3章 线性模型

3.1 基本形式

给定由 个属性描述的示例 = ( x 1 ; x2 ;...; xd ) 其中xi是 x 在第 i 个属性上的取值，线性模型(linear model) 试图学得一个通过属性的线性组合来进行 预测的函数，即

 f(x) = w1x1 + w2x2 + ... + wdxd + b  

 一般用向量形式写成:

其中 w =( w1 ;w2;...;wd) ,w和b学得后模型就得以确定 ，模型就得以确定.

3.2 线性回归

3.2.1 一元线性回归

均方误差有非常好的几何意义,它对应了常用的欧几里得距离或简称"欧氏距离" (Euclidean distance).

基于均方误差最小化来进行模型求解的方法称为"最小二乘法" (l east squ method).

在线性回归中，最小二 乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小.

3.2.1.2 极大似然估计

对于离散型（连续型）随机变量 X ，假设其概率质量函数为 P ( x