Justin-wu-CSDN博客

原创一图了解机器学习底层原理

机器学习脉络框架如下图所示:由极大似然估计可以推导出KL散度、贝叶斯估计、贝叶斯参数估计、HMM参数估计以及正态参数估计。首先针对KL散度，KL散度是距离度量的一种方式。距离度量的方式还包含着：欧式距离、余玄距离、杰卡德相似系数、Hellinger距离、交叉熵、困惑度等。其中Hellinger距离可以推导出KL散度，根据KL散度可以推导出交叉熵，根据交叉熵可以推导出困惑度。针对余玄相似度，可以...

2018-12-24 19:08:11 1493

原创高斯核函数解决线性问题的利器

之所以高斯核函数解决线性不可分的情况如此广泛，主要的原因是，高斯核函数可以看作特征无穷维的扩展，越靠前面的特征收到的重视成都越大！证明：对高斯核函数进行泰勒展开，即可得到结果，具体的证明略。...

2018-06-04 14:03:29 1048

原创【置顶】最大连续子数组

最大连续子数组题目描述：给定一个数组A[0,…,n-1]，求A的连续子数组，使得该子数组的和最大。例如 数组： 1, -2, 3, 10, -4, 7, 2, -5， 最大子数组：3, 10, -4, 7, 2最大连续子数组的解法分析暴力法、分治法、分析法、动态规划法1.暴力法分析：直接求解A[i,…j]的值：0≤ i < n， i≤ j < n， i,i+1…,j-1,j的最大长度为n，因此

2017-09-05 11:07:35 494

原创 SVM算法原理分析

SVM算法：算法背景：支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。两个基本概念：经验风险，置信风险经验风险：代表了分类类在给定样本上的误差，真实可以估计！置信风险：代表了我们

2017-07-23 08:15:16 3400

原创 K-Means原理分析以及其变种算法

从K-Means到elkan K-Means，再到Mini Batch K-Means K-Means是最普通的聚类方法，应用面比较广。 elkan K-Means是K-Mean算法的变种，用于简化计算： elkan K-Means原理：规律1.对于一个样本点X和两个质心O1和O2，如果我们预先计算出来了两个质心之间的距离D（O1，O2）如果2D（X，O1）≤D（O1，O2）即可得到D

2017-07-21 11:05:15 4744

原创 DBSCAN算法原理分析

DBSCAN算法：定义：基于密度的带有噪声的空间聚类,可用于异常值监测，通俗来说就是基于密度的聚类算法！簇的定义：簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并且可以在噪声的空间数据库中发现任意形状的聚类原理：该算法利用基于密度的聚类的思想，即要求聚类空间中的一定区域内所包含对象的数目不小于某一给定的阈值。 DBSCAN算法的目的：是基于密度寻找被低密度区域分离的高

2017-07-20 16:33:38 5847

原创 AP聚类算法原理分析

AP聚类算法：AP算法在开始时，将所有的节点都看成潜在的聚类中心，然后通过节点之间的通信找到最合适的聚类中心。输入为节点间的相似度矩阵S：其中S(i，j)表示节点i与节点j之间的相似度，也表明了j作为i的聚类中心的合适程度。 S(k，k)表示节点k作为k的聚类中心的合适程度，即节点k成为聚类中心的合适程度。在最开始的时候，这个值是初始化时使用者给定的值，会影响到最后的聚类数量AP节点之

2017-07-20 15:42:11 9598 1

wxf_ou的博客