机器学习与数据挖掘 第三讲 线性模型

主要引入线性模型的基本处理。

• 输入数据的表示（input repression)
• 线性分类 (liner classification)
• 线性回归 （linear regression)
• 非线性模型转换 (nonlinear transformation)

例子

利用感知机模型处理手写字体识别

• 提取图片中文字的特征，过滤多余信息，进行降维
• 利用线性模型对提取特征进行学习分类
• 提出了口袋算法的应用（PLA改进版）

线性回归分类

• 最小二乘法最小化误差
• 回归与分类的转化
• 非线性问题转化线性

思考

• 很多模型建立在线性可分模型基础上
• 对输入提取特征，降维可降低机器学习成本
• 现实中很多问题并不能严格线性可分，算法不收敛，弱国存在可接受边界（仅少数分类错误）可在限定迭代次数中利用口袋算法找出最好结果作为最终结果
• 明显线性不可分的问题可通过对输入数据的处理转换为线性可分问题