吃瓜笔记Task02

Task02：详读西瓜书+南瓜书第3章 6天 截止时间 02月21日03:00 课程任务详见附录《学习任务安排》 链接导航栏 ============

• 开源内容：https://linklearner.com/datawhale-homepage/#/learn/detail/10

• 开源内容：https://github.com/datawhalechina/pumpkin-book

• B站视频：https://www.bilibili.com/video/BV1Mh411e7VU

机器学习三要素：

1. 模型：具体问题 -> 假设空间（确定模型：线性回归or其他）

2. 策略：评价标准 -> 选取最优模型的策略

3. 算法：求解损失函数，确定最优模型

（不一定都有闭式解，可用梯度下降法、牛顿法近似求解）

一、一元线性回归

1、算法原理：

“线性回归”试图通过数据学的一个线性模型能尽可能准确预测实值输出标记。即：

2、如何进行参数w，b估计：

1. 最小二乘法估计：基于均方误差最小化，使衡量f（x）与y之间的差别最小化

   

   

2. 极大似然估计：

          用途：估计概率分布的参数值

 

3、求解w，b：

本质在于多元函数求最值，具体为凸函数求最值。

 

第一步：证明凸函数

背景知识补充：

凸集和凸函数

 梯度：

海塞矩阵：

 

证明凸函数定理定义：

 

半正定矩阵判定定理：

 

 

或者利用不等式，平方的和大于等于和的平方；

凸函数性质：

 

w，b的最优解的闭式解：

 

 

 

二、多元线性回归

更一般的情况，给定数据集D，样本由d个元素描述，此时我们希望学得：

目标：

1、用最小二乘法导出线性函数Ew

对希望学得的回归函数模型做变形。首先，我们把w和b吸入向量w=（w；b），把数据集D表示为一个m x （d+1）的矩阵X。

再把标记写成向量形式y=（y1;y2;...;ym）,则有

 

2、求解w

类似于一元线性回归，有：

 

 

 

三、对数几率回归

分类任务：利用广义线性模型，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系。

对数几率回归：分类算法，通过在线性模型的基础上套用一个映射函数来实现分类功能。

建模步骤

在训练集上学得模型

 

第一步，确定概率密度函数：

 则概率密度函数为：

第二步，写出似然函数：

似然函数：

对数似然函数：

 

第三步，极大似然估计 

 

 

式中的 β 没有闭式解，因此需要借助其他工具进行求解。求解使得式取到最小值的 β 属于最优化中的“无约束优化问题”，在无约束优化问题中最常用的求解算法有“梯度下降法”和“牛顿法”，下面进行简单介绍：

 

 

机器学习三要素进行总结如下：

 

四、线性判别分析

1、思路：

从几何角度进行建模，让同类样本方差尽可能小，异类样本中心尽可能远。

2、建模一般步骤：

首先学得模型：

 由模型思路，导出损失函数：

 为尽可能表示出来w，引入了拉格朗日乘子法来进行计算：

拉格朗日乘子法：