聚类
fengziyihang
这个作者很懒,什么都没留下…
展开
-
机器学习非监督之独立分析
独立分析是机器学习非监督分类中十分基础的算法。算法:假设X是随机变量,则其元素xi也是随机的。如果X随机变量是相关的,则元素间也是相关的,X随机相关变量可由独立随机变量S组合成则随机变量X为转换矩阵A是满秩的,且。所以所以S为:随机变量si的概率密度函数为,由于随机变量S是独立的,所以S的概率密度函数为相应的随机变量S的概率分布函数为,其随机变量S概率密度函数与概率分布函数的关系为随机变量X的概率...原创 2018-04-09 10:54:08 · 204 阅读 · 0 评论 -
机器学习非监督分类之主成分分析(PCA)
主成分分析是非监督分类中基础的算法,应用于降低特征的维度。在介绍主成分分析之前,我们要先介绍一下特征值和特征向量,因为在后面我们要用到。一、特征值和特征向量特征值如果有此时γ为矩阵A的特征值,对应的X为矩阵的特征向量。对于不相同的特征值,其特征向量是正交的。二、主成分分析算法:首先将X进行预处理;1、计算X的期望E(X);2、计算D = E(x-E(x));3、计算xj = xj/Djj, 得到新...原创 2018-04-09 13:55:26 · 2745 阅读 · 0 评论 -
机器学习非监督分类之因子分析
随机变量X是混合高斯分布时,我们采用EM算法可以解决,此时样本的数量是远大于特征数量的,当样本数量小于特征数量时,我们该如何建立模型呢?因子分析进入人们的视野。假设数据是高斯分布,我们估计期望和方差:由于样本数量小于特征数量,我们可以发现|∑| = 0,Σ是奇异矩阵,那么 Σ-1 就不存在。但我们仍想使用高斯分布,那就需要对∑进行限制。一、∑的限制∑没限制之前,对角线上的元素为:我...原创 2018-04-10 11:21:01 · 1195 阅读 · 0 评论 -
K-mean聚类算法
K-mean算法属于非监督类算法,模型相对简单。目标函数 J = sum(dj*I{xi属于j类})算法:1、初始化K个点;2、样本xi,到k个点的距离为dk = ||xi - uk||;j = argmin(j) dk;xi属于cj;3、更新参数:uk = sum(xi*I{xi属于cj})/sum(I{xi属于cj});重复2和3,终止条件J的变化很小或者uk变化很小。整个算法结束了,但是结果...原创 2018-04-04 13:03:26 · 617 阅读 · 0 评论