机器学习
liqiang4712
这个作者很懒,什么都没留下…
展开
-
决策树
下面给出决策树的一些知识下面给出基于增益的代码,数据为李航的统计学习方法的数据。原创 2016-09-09 11:50:30 · 197 阅读 · 0 评论 -
高斯混合模型
以下给出用em算法极大化高斯混合函数的似然函数。原创 2016-09-07 12:34:42 · 347 阅读 · 0 评论 -
PCA(主城分析法)
原创 2016-09-18 18:35:32 · 1082 阅读 · 0 评论 -
em算法的导出以及单调性的证明
EM算法可以用来极大化带有引变量的似然函数。下面给出手推的EM导出公式以及单调公式,参考李航的统计学习方法。原创 2016-09-06 14:36:08 · 1045 阅读 · 1 评论 -
朴素贝叶斯算法
朴素贝叶斯算法是个神奇的东西,假定了特征的独立性,却还是在文本分类中有很高的精确度。我们这里的x=(x1,x2,x3,.....xn)表示数据的特征,y={c1,c2....cm}表示分类个数。贝叶斯公式argmax p(y=ck|x) = p(x,y=ck)/p(x) = p(y=yk)*(x|y=yk)/p(x);很明显这里把因果颠倒了。当x的各个特征独立时,p(x|y=ck原创 2016-09-05 20:57:19 · 560 阅读 · 0 评论 -
bp神经网络
这是一个三层的神经网络模型,Input输入数据的特征,Output层输出结果,中间层是隐藏层。bp算法是最小化均方误差,即E=1/2Ssigma(f(xi)-yi)^2我们用梯度下降法优化,这里求偏导用到了链式原则。下面给出随机梯度下降版本。 标准梯度版本就是考虑所以样本,而随机梯度下降就考虑当前数据,可以自行推导标准梯度下降的公式。#include <stdio.h>#include <str原创 2016-09-05 14:25:56 · 515 阅读 · 0 评论 -
梯度下降法,牛顿法,拟牛顿法
梯度下降法:根据泰勒展开式: f(x+t) = f(x)+t*f’(x)注意这里并不是严格相等的,我们这里取t为-f'(x)那么f(x+f'(x)) = f(x)-f'(x)*f'(x),通过迭代函数会收敛到一个局部最小值。牛顿法:根据泰勒展开式:原创 2016-09-03 21:53:12 · 733 阅读 · 0 评论 -
SVM算法的一点点理解
最近几天看了下SVM算法,下面是我的个人理解。原创 2016-09-03 21:32:00 · 327 阅读 · 0 评论 -
集成学习-adaboost,bagging,随机森林
原创 2016-09-13 14:01:22 · 498 阅读 · 1 评论 -
隐马尔可夫模型
原创 2016-09-12 16:55:19 · 272 阅读 · 0 评论 -
k-mean和k-mean++和轮廓系数
k-mean算法是一种聚类算法。他的优化目标是 起中rnk为一如果第n个数据属于第k类。我们使用坐标下降法,对uk求导数为0得到uk = 1/m*∑(xi),xi明显是标记为最近的中心点是函数最小化,不断迭代直到收敛。问题是,算法开始时我们先要指定分类数K,这是一个不确定的数。我采取的做法是不断尝试K,取轮廓系数最小的K为最优K。轮廓系数为 还有个问题是初始化中心点,这里我采用原创 2016-09-21 15:37:59 · 5658 阅读 · 0 评论