MachineLearning
文章平均质量分 75
littlehaes
这个作者很懒,什么都没留下…
展开
-
PCA主成分分析数学原理
复习完线性代数再来推导下PCA 概述主成分分析(principalcomponent analysis)是一种数据分析方法, 出发点:从一组特征中计算出一组按重要性从大到小排列的新特征,它们是原有特征的线性组合,并且相互之间是不相关(即不线性相关)的. 重要性:通过方差衡量,方差大说明数据分布很散,含有的信息量大不相关:推导时用具体推导参数说明记x1,x...原创 2018-02-22 17:24:30 · 840 阅读 · 0 评论 -
SVD奇异值分解数学原理
推导完PCA再来看看SVD 概述奇异值分解(singular value decomposition)可以分解任意形状的矩阵, PCA是对方阵操作,所以SVD适用范围更A=UΣV^t具体推导分解形式A是一个m*n的矩阵,那么A的SVD分解为Amn= Umm*Σmn*Vnn^t (Amn表示A是m*n的矩阵) 其中: + Σ只在对角线(可能不同于方阵的对角线...原创 2018-02-22 22:38:31 · 466 阅读 · 0 评论 -
SVD与PCA的联系
最主要的一点:对矩阵进行PCA降维,一般是通过SVD实现的,而不是去计算原矩阵特征的协方差矩阵.当前数据为p*n的矩阵X,n个样本,每个样本维度为p SVD: Xpn = UΣV^tPCA: Xpn = App^t*Ypn (A是正交矩阵,由p个特征的协方差矩阵的单位特征向量构成;Y是在新维度下的数据表示)将SVD与PCA联系起来 SVD: X*X^t = U*Σ*Σ^t*U^t ...原创 2018-02-23 00:09:48 · 454 阅读 · 0 评论 -
Naive Bayes朴素贝叶斯法
Welcome To My Blog 朴素贝叶斯方法基于贝叶斯公式,之所以朴素(Naive)是因为它有一个较强的假设,让自己包含的条件概率数量大大减少,有助于模型的训练与预测,这个假设是:条件独立 注意:朴素贝叶斯估计和贝叶斯估计是不同的概念,下文会提到贝叶斯估计Naive Bayes法的训练与分类朴素贝叶斯法的基本思路:对于给定的训练集,基于特征之间条件独立的假设去...原创 2018-04-02 23:27:10 · 261 阅读 · 0 评论 -
Maximum Entropy Model最大熵模型
Welcome To My Blog 最大熵模型(Maximum Entropy Model)属于对数线性模型,由最大熵原理推导实现.最大熵原理最大熵原理是概率模型学习的一个准则. 最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型. 通常用约束条件来确定概率模型的集合,所以,最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型 ...原创 2018-04-07 13:12:03 · 1509 阅读 · 0 评论 -
交叉熵与KL散度
老遇到交叉熵作为损失函数的情况,于是总结一下KL散度交叉熵从KL散度(相对熵)中引出,KL散度(Kullback-Leibler Divergence)公式为: KL散度是衡量两个分布之间的差异大小的,KL散度大于等于0,并且越接近0说明p与q这两个分布越像,当且仅当p与q相等时KL散度取0.交叉熵在机器学习的分类问题中,常以交叉熵作为损失函数,此时同样可以衡量两个分...原创 2018-08-07 23:46:59 · 2220 阅读 · 0 评论