liqiang4712的博客

原创 k-mean和k-mean++和轮廓系数

k-mean算法是一种聚类算法。他的优化目标是 起中rnk为一如果第n个数据属于第k类。我们使用坐标下降法，对uk求导数为0得到uk = 1/m*∑（xi）,xi明显是标记为最近的中心点是函数最小化，不断迭代直到收敛。问题是，算法开始时我们先要指定分类数K，这是一个不确定的数。我采取的做法是不断尝试K，取轮廓系数最小的K为最优K。轮廓系数为   还有个问题是初始化中心点，这里我采用

原创 PCA（主城分析法）

原创 集成学习-adaboost，bagging，随机森林

原创 隐马尔可夫模型

原创 决策树

下面给出决策树的一些知识下面给出基于增益的代码，数据为李航的统计学习方法的数据。

原创 高斯混合模型

以下给出用em算法极大化高斯混合函数的似然函数。

原创 em算法的导出以及单调性的证明

EM算法可以用来极大化带有引变量的似然函数。下面给出手推的EM导出公式以及单调公式，参考李航的统计学习方法。

原创 朴素贝叶斯算法

朴素贝叶斯算法是个神奇的东西，假定了特征的独立性，却还是在文本分类中有很高的精确度。我们这里的x=（x1，x2，x3,.....xn）表示数据的特征，y=｛c1，c2....cm｝表示分类个数。贝叶斯公式argmax  p（y=ck|x） = p(x,y=ck)/p(x) = p(y=yk)*(x|y=yk)/p(x);很明显这里把因果颠倒了。当x的各个特征独立时，p（x|y=ck

原创 bp神经网络

这是一个三层的神经网络模型，Input输入数据的特征，Output层输出结果，中间层是隐藏层。bp算法是最小化均方误差，即E=1/2Ssigma（f（xi）-yi）^2我们用梯度下降法优化，这里求偏导用到了链式原则。下面给出随机梯度下降版本。 标准梯度版本就是考虑所以样本，而随机梯度下降就考虑当前数据，可以自行推导标准梯度下降的公式。#include <stdio.h>#include <str

原创 梯度下降法，牛顿法，拟牛顿法

梯度下降法：根据泰勒展开式：                                             f（x+t） = f（x）+t*f’（x）注意这里并不是严格相等的，我们这里取t为-f'(x)那么f（x+f'(x)）  = f(x)-f'(x)*f'(x)，通过迭代函数会收敛到一个局部最小值。牛顿法：根据泰勒展开式：

原创 SVM算法的一点点理解

最近几天看了下SVM算法，下面是我的个人理解。