第3章 线性模型
基本形式
给各个属性分配权值,和数对应到预测函数
线性回归
- 定义:给定离散的数据点(属性,标记)数据对,学习线性模型预测输出
- 对于输入属性
- 输入属性数目只有一个
- 离散属性:存在序关系的转换为大小不同的值,不存在序关系的转化为0/1向量
- 输入属性数目只有一个
- 基于均方误差最小化进行模型求解的方法:「最小二乘法」
- 求解w,b使得均方误差最小的过程称为最小二乘「参数估计」
- 对均方误差函数E(w,b)分别关于w和b求导,令导数为0
- 原理:E是关于w和b的凸函数;判断凸函数方法:二阶导数在区间上非负(若严格大于0则称严格凸函数)
- 多元线性回归
对数几率回归
- 将分类任务用线性模型解决
- 「单位阶跃函数」:以0.5为界将0~1的实值转化为0/1标记(自变量只接收0/0.5/1三个离散值)
- 「对数几率函数」:y=1/(1+e^-z) 是一种Sigmoid函数(形似S的函数)
- 可以变形为ln(y/(1-y))=z
- 左边称为「对数几率」,即几率的自然对数
- 几率(odds)是正确可能性/错误可能性
- 优点
- 无须假设数据分布</