![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
每日总结
文章平均质量分 75
wenffe
致力于大数据和人工智能的菜鸟
展开
-
机器学习-因子分析(FA)
1. 因子分析(Factor Analysis)1.1 概念因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法\color{red}{因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法}因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法,此方法认为观测到的变量是由公共因子加上特殊因子共同作用产生的。因子分析在社会学/金融领域应用很广。...原创 2018-12-26 20:45:20 · 2694 阅读 · 0 评论 -
机器学习-PCA与聚类算法
1. 主成分分析(Principal Components Analysis)1.1 原理PCA是一种降维算法,通过最大化样本集在某一个方向投影值的平方和,来找到主轴方向,主轴是对称方阵1m∑i=1kx(i)(x(i))T\frac{1}{m}\sum_{i=1}^k{x^{(i)}(x^{(i)})^T}m1∑i=1kx(i)(x(i))T的特征向量方向,取前k个最大投影值平方和所对...原创 2018-12-21 16:46:25 · 1722 阅读 · 0 评论 -
机器学习-EM算法
1. EM算法1.1 作用EM算法是用来求解带隐藏因子的概率模型的极大似然估计,通过杰森不等式将包含求和的对数似然函数转化为乘积形式,从而得到一个简便表达式。如果不采用EM算法,则此类问题只能采用梯度上升法等迭代法求解,比较麻烦1.2 具体步骤(1)注意是否包含未能观测到的隐藏变量,若无,则可以将概率模型表示为完全形式的联合概率分布(如高斯判别分析),接下来可以使用常规的极大似然估...原创 2018-12-21 16:50:46 · 226 阅读 · 0 评论 -
机器学习-雅可比式与多元高斯分布
1. 雅可比式1.1 概念雅可比式也称为函数行列式,它是用来描述变量与变量之间变换关系的。假设x,y∈Rnx,y\in R^nx,y∈Rn,并且两者之间线性变换关系y=Ax+μy = Ax + \muy=Ax+μ(也可以展开表示为方程组形式),则雅可比式可以表示为J=∣dy1dx1...dy1dxndy2dx1...dy2dxn..........dyndx1...dyndxn∣ J=...原创 2018-12-21 16:55:48 · 1141 阅读 · 0 评论 -
机器学习-独立成分分析(ICA)
1. 独立成分分析(Independent Components Analysis)1.1 概念独立成分分析是从观测变量中分离出独立元素,观测变量的维度(数目)要和独立元素维度(数目)相同。模型表示如下x=As(x,s∈Rn,A∈Rn∗n)x为观测变量,s中各个分量彼此独立s=A−1x=Wxx = As (x,s \in R^n, A\in R^{n*n})\\x为观测变量, s中各...原创 2018-12-28 08:52:49 · 1863 阅读 · 0 评论 -
机器学习-奇异值分解(SVD)
1. 矩阵奇异值的含义矩阵奇异值的含义是从方阵的特征值概念中延伸出来的对于任意形状的矩阵AmnA_{mn}Amn,ATAA^TAATA表示一个nnn阶的对称方阵,假设viv_ivi是ATAA^TAATA的单位正交特征向量,λi\lambda _iλi是ATAA^TAATA对应的特征值(λi>0)(\lambda _i>0)(λi>0)∣Avi∣2=(...原创 2018-12-29 08:36:55 · 352 阅读 · 0 评论