目录
一元线性回归
上图是正交回归示例图
它试图找到一个正交拟合线,使得实际观测值在拟合线上的投影和预测值之间的残差平方和最小化。
上图是线性回归示例图
“min”和“arg min”的区别
牛顿法
牛顿法的迭代公式:
拟牛顿法
牛顿法每次迭代时需要求解海森矩阵的逆矩阵,该步骤的计算量很大,所以将求解海森矩阵的逆矩阵改成求解计算量更低的近似逆矩阵,称为拟牛顿法。
线性回归
目标是最小化观测值和预测值之间的残差平方和。最小二乘法也就是最小化均方误差。
多种类型的回归
最小二乘法 :基于均方误差最小化来进行模型求解的方法
损失函数
求使得这个式子值最小的w与b的值
极大似然估计
利用对数来简化似然函数得到对数似然函数,方便求导计算。
极大似然估计也能推导出最小二乘法:
通常假设误差服从均值为0的正态分布
多元函数的一阶导数:梯度
多元函数的二阶导数:海森矩阵
w的向量化
多元线性回归
有最小二乘法导出损失函数
对数几率回归
从极大似然函数的角度推出对数几率回归的损失函数
全体样本的交叉熵:
这就是对数几率回归的损失函数
sigmod函数
Sigmod函数(Sigmoid函数)是一种常用的数学函数,它将输入的实数映射到区间(0, 1)之间的一个值。它的公式如下:
S(x) = 1 / (1 + exp(-x))
其中,x是输入的实数,exp表示自然指数函数(e的x次幂),S(x)是Sigmod函数的输出。Sigmod函数的特点是在x接近0时,输出值接近0.5,而在x趋向正无穷大时,输出值接近1,而在x趋向负无穷大时,输出值接近0。
二分类线性判别分析
损失函数推导:
拉格朗日乘子法:
广义特征值:
广义瑞利商:
厄米矩阵:
厄米矩阵(Hermitian Matrix),也称为自伴随矩阵(Self-adjoint Matrix),是一种特殊的方阵(即行数等于列数的矩阵)。在线性代数和量子力学等领域中,厄米矩阵是非常重要的概念。
厄米矩阵是指一个复数方阵 A,它的转置共轭等于它本身的逆矩阵。用数学符号表示为:
A^† = A*
其中,A^† 是 A 的厄米共轭(Hermitian Conjugate),也称为伴随矩阵(Adjoint Matrix)或共轭转置矩阵(Conjugate Transpose Matrix);A* 是 A 的转置共轭(Transpose Conjugate),即将 A 先转置后再取共轭。
对于实数矩阵(所有元素都是实数),厄米矩阵的定义与对称矩阵相同,即 A 的转置等于它本身。但对于复数矩阵,厄米矩阵要求更严格,需要满足 A 的转置共轭等于它本身的逆矩阵。