- 博客(11)
- 收藏
- 关注
原创 k-mean和k-mean++和轮廓系数
k-mean算法是一种聚类算法。他的优化目标是 起中rnk为一如果第n个数据属于第k类。我们使用坐标下降法,对uk求导数为0得到uk = 1/m*∑(xi),xi明显是标记为最近的中心点是函数最小化,不断迭代直到收敛。问题是,算法开始时我们先要指定分类数K,这是一个不确定的数。我采取的做法是不断尝试K,取轮廓系数最小的K为最优K。轮廓系数为 还有个问题是初始化中心点,这里我采用
2016-09-21 15:37:59 5658
原创 em算法的导出以及单调性的证明
EM算法可以用来极大化带有引变量的似然函数。下面给出手推的EM导出公式以及单调公式,参考李航的统计学习方法。
2016-09-06 14:36:08 1045 1
原创 朴素贝叶斯算法
朴素贝叶斯算法是个神奇的东西,假定了特征的独立性,却还是在文本分类中有很高的精确度。我们这里的x=(x1,x2,x3,.....xn)表示数据的特征,y={c1,c2....cm}表示分类个数。贝叶斯公式argmax p(y=ck|x) = p(x,y=ck)/p(x) = p(y=yk)*(x|y=yk)/p(x);很明显这里把因果颠倒了。当x的各个特征独立时,p(x|y=ck
2016-09-05 20:57:19 559
原创 bp神经网络
这是一个三层的神经网络模型,Input输入数据的特征,Output层输出结果,中间层是隐藏层。bp算法是最小化均方误差,即E=1/2Ssigma(f(xi)-yi)^2我们用梯度下降法优化,这里求偏导用到了链式原则。下面给出随机梯度下降版本。 标准梯度版本就是考虑所以样本,而随机梯度下降就考虑当前数据,可以自行推导标准梯度下降的公式。#include <stdio.h>#include <str
2016-09-05 14:25:56 515
原创 梯度下降法,牛顿法,拟牛顿法
梯度下降法:根据泰勒展开式: f(x+t) = f(x)+t*f’(x)注意这里并不是严格相等的,我们这里取t为-f'(x)那么f(x+f'(x)) = f(x)-f'(x)*f'(x),通过迭代函数会收敛到一个局部最小值。牛顿法:根据泰勒展开式:
2016-09-03 21:53:12 727
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人