wenffe-CSDN博客

原创机器学习-奇异值分解(SVD)

1. 矩阵奇异值的含义矩阵奇异值的含义是从方阵的特征值概念中延伸出来的对于任意形状的矩阵AmnA_{mn}Amn，ATAA^TAATA表示一个nnn阶的对称方阵,假设viv_ivi是ATAA^TAATA的单位正交特征向量，λi\lambda _iλi是ATAA^TAATA对应的特征值(λi&amp;gt;0)(\lambda _i&amp;gt;0)(λi&gt;0)∣Avi∣2=(...

2018-12-29 08:36:55 379

原创机器学习-独立成分分析(ICA)

1. 独立成分分析(Independent Components Analysis)1.1 概念独立成分分析是从观测变量中分离出独立元素，观测变量的维度(数目)要和独立元素维度(数目)相同。模型表示如下x=As（x,s∈Rn，A∈Rn∗n）x为观测变量,s中各个分量彼此独立s=A−1x=Wxx = As （x,s \in R^n， A\in R^{n*n}）\\x为观测变量, s中各...

2018-12-28 08:52:49 1892

原创机器学习-因子分析(FA)

1. 因子分析(Factor Analysis)1.1 概念因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法\color{red}{因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法}因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法，此方法认为观测到的变量是由公共因子加上特殊因子共同作用产生的。因子分析在社会学/金融领域应用很广。...

2018-12-26 20:45:20 2739

原创机器学习-雅可比式与多元高斯分布

1. 雅可比式1.1 概念雅可比式也称为函数行列式，它是用来描述变量与变量之间变换关系的。假设x,y∈Rnx,y\in R^nx,y∈Rn，并且两者之间线性变换关系y=Ax+μy = Ax + \muy=Ax+μ（也可以展开表示为方程组形式)，则雅可比式可以表示为J=∣dy1dx1...dy1dxndy2dx1...dy2dxn..........dyndx1...dyndxn∣ J=...

2018-12-21 16:55:48 1167

原创机器学习-EM算法

1. EM算法1.1 作用EM算法是用来求解带隐藏因子的概率模型的极大似然估计，通过杰森不等式将包含求和的对数似然函数转化为乘积形式，从而得到一个简便表达式。如果不采用EM算法，则此类问题只能采用梯度上升法等迭代法求解，比较麻烦1.2 具体步骤（1）注意是否包含未能观测到的隐藏变量，若无，则可以将概率模型表示为完全形式的联合概率分布(如高斯判别分析)，接下来可以使用常规的极大似然估...

2018-12-21 16:50:46 237

原创机器学习-PCA与聚类算法

1. 主成分分析(Principal Components Analysis)1.1 原理PCA是一种降维算法，通过最大化样本集在某一个方向投影值的平方和，来找到主轴方向，主轴是对称方阵1m∑i=1kx(i)(x(i))T\frac{1}{m}\sum_{i=1}^k{x^{(i)}(x^{(i)})^T}m1∑i=1kx(i)(x(i))T的特征向量方向，取前k个最大投影值平方和所对...

2018-12-21 16:46:25 1736

原创通过向量乘积推导地球两点之间的球面距离

通过向量乘积推导地球两点之间的球面距离思路：将点的经纬度坐标转换三维的直角坐标根据空间中向量乘积公式a.b=∣a∣.∣b∣cos⁡θa.b=|a|.|b|\cos{\theta}a.b=∣a∣.∣b∣cosθ，得到两个点之间的角度再根据圆弧长与圆角之间的关系lab=rθl_{ab}=r\thetalab=rθ，得到两个点的球面距离如下所示其中A、B是球面上的两个点，O是球心...

2018-11-29 11:41:30 520

原创 python实现KD树

关于KD树的介绍，许多博客已经描述的很清楚了，这里就不再叙述，不了解的可以参考https://blog.csdn.net/app_12062011/article/details/51986805下面给出代码"""构建kd树，提高KNN算法的效率（数据结构要自己做出来才有趣） 1. 使用对象方法封装kd树 2. 每一个结点也用对象表示，结点的相关信息保存在实例属性中 ...

2018-11-21 08:50:48 7279 6

原创 python用string.center( )方法实现在一个程序中打印空心/实心的等腰三角形/菱形等四种图案

在学各种编程的循环语句时，经常碰到要求用print函数打印各种星星图案，这类型的题目比较考验人的逻辑思维能力。一开始你可能只能画出直角三角形，后面了解规律后，能够画出菱形了。今天和大家分享如何在一个程序中用string.center( )方法，来实现打印空心/实心的等腰三角形/菱形等四种图案。首先你要清楚这四种图案的星星是按什么规律排布的，如果你不清楚，你可以先自己...

2018-06-24 09:42:21 4776

wenffe的博客