LZINC-CSDN博客

原创机器学习——降维算法（MDS，PCA，LLE）推导

1.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得为拉格朗日函数的稳定点即它是如下个方程的解。2.矩阵求导法则：矩阵求导法则：设存在矩阵矩阵及维向量，我们有补充：(1)(2)(3)3.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，

2024-02-05 00:18:32 1460 1

原创机器学习——支持向量回归（SVR）及核方法

时，我们有此时不计入误差，即此时值取0；证明：我们由支持向量回归的定义，我们可以知道当。支持向量回归假设我们能容忍。我们使用拉格朗日数乘数法来求解最优解。时，我们有此时计入误差，即此时值取。为计算中引入的拉格朗日乘子。那么，我们引入分段函数。希望得到一个回归模型。我们引入拉格朗日因子。代入该拉格朗日函数对。

2024-01-29 22:07:39 2581

原创机器学习——支持向量机基本型（SVM）及对偶问题推导

1.点到直线的距离公式：设直线过点，方向向量为，由图1看出，点到直线的距离是以为邻边的平行四边形的底边上的高，因此有。在直角坐标系中点到平面的距离为:2.支持向量：假设超平面能将训练样本正确分类，即对于，若，则有；若，则有。令距离超平面最近的几个训练样本使得上式成立，我们称之为支持向量。3.线性规划标准型：对于约束矩阵，线性规划的规范形式为：4.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中。

2024-01-23 11:56:48 1648

原创机器学习——线性判别分析（LDA）推导

1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。

2024-01-16 14:31:11 719 3

原创机器学习——线性回归理论推导

1.正定矩阵及负定矩阵：2.Hessina矩阵：3.矩阵的2范数：3.矩阵求导法则：4.矩阵极大极小值求法：1.给定数据集,对于学到的模型，我们有最优解的闭式解为：，证明：我们有要想使误差最小，需要衡量与之间的差异，即使得值最小。由于给定数据个数为有限，那么我们将对求导得到下式：同理对求导有：由于关于得二次二次函数，下面我们构造该函数得Hessian矩阵。我们将对求偏导有：我们将对求偏导有：由Hessian矩阵定义我们可知该Hessian矩阵为：可知Hessian矩阵为正定矩阵，我们可知存在极小值，且极小值

2024-01-14 12:54:57 476 3

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 机器学习——降维算法（MDS，PCA，LLE）推导

原创 机器学习——支持向量回归（SVR）及核方法

原创 机器学习——支持向量机基本型（SVM）及对偶问题推导

原创 机器学习——线性判别分析（LDA）推导

原创 机器学习——线性回归理论推导

空空如也

空空如也

原创机器学习——降维算法（MDS，PCA，LLE）推导

原创机器学习——支持向量回归（SVR）及核方法

原创机器学习——支持向量机基本型（SVM）及对偶问题推导

原创机器学习——线性判别分析（LDA）推导

原创机器学习——线性回归理论推导