Task02:详读西瓜书+南瓜书第3章 6天 截止时间 02月21日03:00 课程任务详见附录《学习任务安排》 链接导航栏 ============
-
开源内容:https://linklearner.com/datawhale-homepage/#/learn/detail/10
-
开源内容:https://github.com/datawhalechina/pumpkin-book
-
B站视频:https://www.bilibili.com/video/BV1Mh411e7VU
机器学习三要素:
-
模型:具体问题 -> 假设空间(确定模型:线性回归or其他)
-
策略:评价标准 -> 选取最优模型的策略
-
算法:求解损失函数,确定最优模型
(不一定都有闭式解,可用梯度下降法、牛顿法近似求解)
一、一元线性回归
1、算法原理:
“线性回归”试图通过数据学的一个线性模型能尽可能准确预测实值输出标记。即:
2、如何进行参数w,b估计:
-
最小二乘法估计:基于均方误差最小化,使衡量f(x)与y之间的差别最小化
-
极大似然估计:
用途:估计概率分布的参数值
3、求解w,b:
本质在于多元函数求最值,具体为凸函数求最值。
第一步:证明凸函数
背景知识补充:
凸集和凸函数
梯度:
海塞矩阵:
证明凸函数定理定义:
半正定矩阵判定定理:
或者利用不等式,平方的和大于等于和的平方;
凸函数性质:
w,b的最优解的闭式解:
二、多元线性回归
更一般的情况,给定数据集D,样本由d个元素描述,此时我们希望学得:
目标:
1、用最小二乘法导出线性函数Ew
对希望学得的回归函数模型做变形。首先,我们把w和b吸入向量w=(w;b),把数据集D表示为一个m x (d+1)的矩阵X。
再把标记写成向量形式y=(y1;y2;...;ym),则有
2、求解w
类似于一元线性回归,有:
三、对数几率回归
分类任务:利用广义线性模型,只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系。
对数几率回归:分类算法,通过在线性模型的基础上套用一个映射函数来实现分类功能。
建模步骤
在训练集上学得模型
第一步,确定概率密度函数:
则概率密度函数为:
第二步,写出似然函数:
似然函数:
对数似然函数:
第三步,极大似然估计
式中的 β 没有闭式解,因此需要借助其他工具进行求解。求解使得式取到最小值的 β 属于最优化中的“无约束优化问题”,在无约束优化问题中最常用的求解算法有“梯度下降法”和“牛顿法”,下面进行简单介绍:
机器学习三要素进行总结如下:
四、线性判别分析
1、思路:
从几何角度进行建模,让同类样本方差尽可能小,异类样本中心尽可能远。
2、建模一般步骤:
首先学得模型:
由模型思路,导出损失函数:
为尽可能表示出来w,引入了拉格朗日乘子法来进行计算:
拉格朗日乘子法: