AI大模型前沿研究
软件工程硕士,机器学习&深度学习爱好者,忘记背后,努力面前,向着标杆直跑!
展开
-
『矩阵论笔记』中篇:张量CP分解的详细推导以及Python实现
张量CP分解的详细数学推导以及Python实现(中)原创 2023-12-29 14:53:50 · 1178 阅读 · 1 评论 -
『矩阵论笔记』下篇:张量CP分解的详细推导以及Python实现
张量CP分解的详细数学推导以及Python实现(下集)原创 2023-12-29 15:01:07 · 1059 阅读 · 0 评论 -
『矩阵论笔记』上篇:张量CP分解的详细推导以及Python实现
张量CP分解的详细数学推导以及Python实现(上集)原创 2021-07-11 22:35:48 · 3676 阅读 · 9 评论 -
『矩阵论笔记』解读奇异值分解(SVD)+Python实战
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解(Matrix Decomposition),奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。这篇文章主要说下奇异值分解,这个方法在机器学习的一些算法里占有重要地位。原创 2019-03-14 21:44:04 · 5239 阅读 · 6 评论 -
『矩阵论笔记』特征分解(eigendecomposition)通俗解释!
我们将 讨论特征分解(eigendecomposition),它是如何工作的,试图达到什么目的,以及为什么它有用。顾名思义,这种变换的核心是 特征(eigen) 这个词。如果你不熟悉 特征向量(eigenvectors)和特征值(eigenvalues)原创 2024-06-07 11:37:20 · 200 阅读 · 0 评论 -
『ML笔记』多类支持向量机损失 Multiclass Support Vector Machine Loss+Python代码实战Mnist数据集
SVM, Softmax损失函数总结! 文章目录一、SVM多分类问题1.1、损失函数二、k-means聚类算法2.1、处理过程卷积神经网络进行分类任务时,往往使用以下几类损失函数: 1. 平方误差损失;2. SVM损失;3. softmax损失。其中,平方误差损失在分类问题中效果不佳,一般用于回归问题。softmax损失函数和SVM(多分类)损失函数在实际应用中非常广泛。本文将对这两种损失函...原创 2019-10-01 19:44:17 · 2422 阅读 · 1 评论 -
『自己的工作3』梯度下降实现SVM多分类+最详细的数学推导+Python实战(鸢尾花数据集)
支持向量机(Support Vector Machine, SVM)的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM的目标是寻找一个最优化超平面在空间中分割两类数据,这个最优化超平面需要满足的条件是:离其最近的点到其的距离最大化,这些点被称为支持向量。SVM是用来解决二分类问题的有监督学习算法,同时它可以通过one-vs-all策略应用到多分类问题中。本文主要介绍如何使用梯度下降法对SVM多分类问题进行优化。原创 2019-11-28 19:53:45 · 5531 阅读 · 8 评论 -
『矩阵论笔记』详解最小二乘法(矩阵形式求导)+Python实战
关于最小二乘问题的求解,之前已有梯度下降法,还有比较快速的牛顿迭代。今天来介绍一种方法,是基于矩阵求导来计算的,它的计算方式更加简洁高效,不需要大量迭代,只需解一个正规方程组。原创 2021-06-25 01:17:29 · 4165 阅读 · 0 评论 -
『矩阵论笔记』详细介绍矩阵的三角分解(LR分解)+平方根分解(Cholesky分解)
首先求解A\mathbf AA的三角分解(LR分解)ALRALR;然后把R\mathbf RR的对角元素取出来组成一个对角阵,然后mathbfRmathbf RmathbfR的每一行除以相应的对角元素。原创 2019-11-14 20:14:18 · 9300 阅读 · 6 评论 -
『矩阵论笔记』线性判别分析(LDA)最全解读+python实战二分类代码+补充:矩阵求导可以参考
线性判别分析(Linear Discriminant Analysis 简称LDA)是一种经典的线性学习方法,在二分类问题上因为最早由【Fisher,1936年】提出,所以也称为“Fisher 判别分析!”Fisher(费歇)判别思想是投影,使多维问题简化为一维问题来处理。选择一个适当的投影轴,使所有的样本点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是:使每一类内的投影值所形成的类内离差尽可能小,而不同类间的投影值所形成的类间离差尽可能大。原创 2019-05-27 20:59:10 · 5926 阅读 · 5 评论 -
『ML笔记』PCA(Principal Component Analysis)降维全面解读+python实现!
PCA(Principal Component Analysis)降维+python实现! 文章目录一、数据降维二、`PCA`主成分分析原理一、数据降维许多机器学习问题涉及训练实例的几千甚至上百万个特征,这不仅导致训练非常的缓慢,也让我们很难找到好的解决方案。这个问题通常称为维度诅咒!幸运的是,对现实世界的问题,我们一般可以大量减少特征的数量,将棘手的问题转化为容易解决的问题。例如,MNIS...原创 2019-06-09 15:46:17 · 820 阅读 · 0 评论 -
『矩阵论笔记』约束优化方法之拉格朗日乘子法与KKT条件
约束优化方法之拉格朗日乘子法与KKT条件文章目录一、无约束优化二、等式约束优化三、不等式约束优化四、参考文献在约束最优化问题中,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所...原创 2019-04-02 15:10:26 · 3959 阅读 · 0 评论 -
『矩阵论笔记』雅可比矩阵(Jacobian)和海森矩阵(Hessian)
文章目录一、 Jacobian二、雅可比矩阵2.1、雅可比行列式三、 海森Hessian矩阵3.1、海森矩阵在牛顿法中的应用3.1.1、 泰勒公式3.1.2、 求解方程3.1.3、 最优化一、 Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入...原创 2019-03-30 14:17:20 · 14245 阅读 · 5 评论 -
『ML笔记』Python凸优化求解cvxopt包+实战SVM+补充np.dot, np.matmul, np.multiply!
Python凸优化求解cvxopt包+实战SVM+补充np.dot, np.matmul, np.multiply!原创 2019-03-16 15:47:01 · 4369 阅读 · 12 评论