机器学习非监督之独立分析

独立分析是机器学习非监督分类中十分基础的算法。

算法：

假设X是随机变量，则其元素xi也是随机的。

如果X随机变量是相关的，则元素间也是相关的，X随机相关变量可由独立随机变量S组合成

则随机变量X为

转换矩阵A是满秩的，且。

所以

所以S为：

随机变量si的概率密度函数为，由于随机变量S是独立的，所以S的概率密度函数为

相应的随机变量S的概率分布函数为，其随机变量S概率密度函数与概率分布函数的关系为

随机变量X的概率分布函数为，其随机变量S概率密度函数与概率分布函数的关系为

概率分布函数的意义

我们可以得到极大似然估计为

这里的di是X第i次的观测量。

为了使估计最大，这里是无约束，参数是W，所以我们自然而然想到了求导。这里我们引入了sigmoid函数，令随机变量X的概率分布函数为sigmoid函数，所以概率密度函数为

，所以对W的求导得

求最大这里只能用梯度上升法了，参数更新如下

优缺点：

优点：

缺点

待补充

参考：

https://blog.csdn.net/lizhe_dashuju/article/details/50263339