学习记录task2

相对我的知识体系查漏补缺版。

学习内容1：一元线性回归

回归有两种，正交回归是让样本点到拟合直线的垂直距最短（xy都改变），而线性回归是让样本点到拟合直线平行于y轴的距离最短（x不变），选择第二种更方便计算吧。

关于凸集、梯度的概念和海塞矩阵：凸集与高数中的曲线凹凸性相反，梯度就是一阶导数，海塞矩阵是多元函数二阶偏导组成的矩阵。

初步意识到做回归的过程思考的三步骤：

❶模型，确定好假设空间，也就是我们打算得出的函数框架，比如是一元二次的还是一元一次的，还是指数的。

❷策略，通过评价标准去选取最优模型的策略，也就是理论上怎么去估算模型参数，产出一个“损失函数”，比如是垂直损失的回归，还是平行y轴损失的回归。

❸算法，求解损失函数，确定最优模型。比如是用ols还是极大似然估计还是GLS等等。

学习内容2：多元线性回归

（培养加总求和转化为向量相乘的视角）

从一元回归推广到更一般的使用向量表示的多元回归，此处需要补充矩阵求微分公式的相关知识。

学习内容3：对数几率回归

虽然有回归两字，但这是分类任务。

策略一：在线性回归的基础上，将模型输出结果映射到（0，1）上，由此确定概率质量函数，写出极大似然函数（损失函数），再求极值。

策略二：补充信息论的预备知识，用交叉熵来求极值。

学习内容4：二分类线性判别分析

重点是构造广义瑞利商，并且构造出来的距离差以及方差与其投影向量的长度无关，只与投影向量的方向有关。

于是，使得分子最大不妨让分母满足等于1的条件，用拉格朗日乘子法求ω，得到广义特征值。（或者使得分母最小，控制住分子……）

 

 

 

 

 

学习笔记来源，指路☟

【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集-哔哩哔哩