线性模型学习笔记

本文是我学习了周志华教授所写的《机器学习》第三章线性模型之后写的学习笔记，同时参考了博客https://blog.csdn.net/qq_17073497/article/details/81485650

 

 

目录

1、基本形式

2、线性回归

3、对数几率回归（逻辑回归）

4、线性判别分析

5、多分类学习

---

目录：

1、基本形式

  对于给定的由d个属性描述的示例X=(;;...;),其中是X在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+...+wdxd+b,一般用向量形式写成f(x)=x+b,其中w=(w1;w2;...:wd),w和b学得以后，模型就得以确定。线性模型虽然简单，但是却蕴含着机器学习中一些重要的思想，许多功能更加强大的非线性模型是在线性模型的基础上引入层级结构或者高维映射得到的。本文介绍三种典型的线性模型问题，回归问题，二分类问题，多分类问题。

2、线性回归

  线性回归是试图学得一个线性模型来尽可能准确的预测实值输出标记。均方误差是回归任务中最常用的性能度量，因此优化目标是最小化均方误差。基于均方误差最小化进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使得所有的样本到直线的欧式距离之和最小。

3、对数几率回归（逻辑回归）

4、线性判别分析

5、多分类学习