机器学习算法
intelligence1994
这个作者很懒,什么都没留下…
展开
-
原型聚类(K-means聚类、LVQ、高斯混合聚类)
转自:周志华《机器学习》第9章转自:http://blog.csdn.net/sunanger_wang/article/details/8852746 1、K-means有样本D(x1,x2,...,xn),先随机找K个点作为类别中心,(1)计算每个样本距K个点的距离,将样本分类到距离最近的点,(2)根据每类的样本更新类别中心2、LVQ,学习向量量化前提:假设转载 2017-04-07 17:36:33 · 4810 阅读 · 0 评论 -
batch normalization
白化(sphering)参考http://ufldl.stanford.edu/wiki/index.php/%E7%99%BD%E5%8C%96举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相转载 2016-12-26 18:20:02 · 5506 阅读 · 0 评论 -
范数和距离
1、范数转自 http://blog.csdn.net/kingzone_2008/article/details/15073987向量的范数可以简单形象的理解为向量的长度,或者向量到零点的距离,或者相应的两个点之间的距离。向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| = |c| ||x|| ,三角不等式||x+y||转载 2017-01-06 09:54:31 · 4576 阅读 · 0 评论 -
奇异值分解(SVD)
出处:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html感谢作者PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中,往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面,也转载 2017-01-12 18:08:38 · 286 阅读 · 0 评论 -
SVM(一)问题提出
转自:http://blog.csdn.net/wangkr111/article/details/21170881svm主要分有4个问题 1.问题的提出 2.拉格朗日对偶问题。 3.核函数问题。 4.二次规划问题。自我理解:(1)SVM问题也是逻辑回归问题转载 2017-03-21 15:12:34 · 448 阅读 · 0 评论 -
SVM(二)拉格朗日对偶问题
转自:http://blog.csdn.net/wangkr111/article/details/21170809转载 2017-03-21 15:44:45 · 361 阅读 · 0 评论 -
SVM(三)核函数
转自: 周志华老师的《机器学习》 P128页转载 2017-03-21 15:53:43 · 526 阅读 · 0 评论 -
SVM(四)支撑向量机,二次规划问题
转自:http://blog.csdn.net/wangkr111/article/details/21170739转载 2017-03-21 16:04:18 · 1809 阅读 · 0 评论 -
周志华《机器学习》 ID3实现雏形(未完善,未运行)
最近阅读机器学习的决策树,突发奇想写了一下ID3实现,未完待续,保存下来等有时间接着写,大体框架是这样目前还未写样例运行,未实例化实现指导如下:#include #include #include using namespace std;int main(){ AA attr; DD sample; decisionTree *m=new decisi原创 2017-03-21 22:04:34 · 338 阅读 · 0 评论 -
极大似然估计和EM算法
转自:http://blog.csdn.net/zouxy09/article/details/8537620感谢博主:zouxy09一、最大似然 假设我们需要调查我们学校的男生和女生的身高分布。你怎么做啊?你说那么多人不可能一个一个去问吧,肯定是抽样了。假设你在校园里随便地活捉了100个男生和100个女生。他们共200个人(也就是200个身高的样本转载 2017-03-24 16:53:10 · 5967 阅读 · 0 评论 -
BP算法的梯度激增,梯度消失
转自知乎:https://www.zhihu.com/question/49812013/answer/148825073转自博客:http://blog.csdn.net/lu597203933/article/details/46575803自我总结:链式法则传递误差时,对乘法项:0.9*0.9*...*0.9多了就成了0(梯度消失) , 1.1*1.1*...*1.1转载 2017-04-05 21:40:23 · 1264 阅读 · 0 评论 -
Bag-of-words模型
转自http://blog.csdn.net/wsj998689aa/article/details/47089153Bag-of-words模型简介Bag-of-words模型是信息检索领域常用的文档表示方法。在信息检索中,BOW模型假定对于一个文档,忽略它的单词顺序和语法、句法等要素,将其仅仅看作是若干个词汇的集合,文档中每个单词的出现都是独立的,不依赖于其它单转载 2017-07-29 10:31:32 · 316 阅读 · 0 评论