机器学习
Twenty_seven
这个作者很懒,什么都没留下…
展开
-
径向基函数方差的选取
最近在毕设过程中用到这个函数,对于方差的选取可以采用如下方法:式中cmax 为所选取中心之间的最大距离,h是聚类的类数。扩展常数这么计算是为了避免径向基函数太尖或太平。其中对与kmeans聚类的类数量h的选取有如下说明:给定一个合适的类簇指标,比如平均半径或直径,只要我们假设的类簇的数目等于或者高于真实的类簇的数目时,该指标上升会很缓慢,而一旦试图得到少于真实数原创 2017-02-07 19:43:26 · 1518 阅读 · 0 评论 -
神经网络用于数据降维
来自论文:Reducing the Dimensionality of Data with Neural Networks这篇文章是深度学习领域的大牛hinton写的。这篇文章涉及的一个主要知识点就是受限玻尔兹曼机,所以你要先懂什么是玻尔兹曼机,如果你百度,基本是相同的解释,我基本都没有理解。这里推荐一篇文章 《受限玻尔兹曼机》张春霞,写的很详细,比较容易理解,截取一段:转载 2017-04-14 22:22:43 · 6448 阅读 · 0 评论 -
散布矩阵(Scatter Matrix)
参考网页:http://en.wikipedia.org/wiki/Scatter_matrix译文转载自:http://blog.csdn.net/breeze5428/article/details/25612763因为最近需要用到散布矩阵做数据分析,因此在此做些关于散布矩阵的小总结。在多变量概率统计中,散布矩阵是用来估计多维正态分布协方差的统计量。定义给定n个转载 2017-04-13 20:15:13 · 4953 阅读 · 1 评论 -
何凯明深度残差网络翻译
[译]基于深度残差学习的图像识别Deep Residual Learning for Image RecognitionKaiming He Xiangyu Zhang Shaoqing Ren Jian Sun 微软研究院 {kahe, v-xiangz, v-shren, jiansun}@microsoft.com摘要:神经网络的训转载 2017-04-13 09:24:17 · 11996 阅读 · 0 评论 -
非参数方法、参数方法与半参数方法
转自:http://blog.csdn.net/u013395544/article/details/53170207参数学习方法: 假设了一个在整个输入空间上有效的模型,将问题归结为在样本上估计少量参数,(如:线性模型估计w,高斯分布估计mu和sigma).参数学习方法假定了一个模型,当模型假定不成立,或者样本不是一个分组,可能导致很大的误差。(如:语音识别,由于不转载 2017-04-02 16:12:29 · 2872 阅读 · 0 评论 -
one-hot representations独热编码
数据预处理之独热编码(One-Hot Encoding)**定义** One-Hot Encoding即 One-Hot 编码,也称独热编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。**解决问题**:由于分类器往往默认数据数据是连续的,并且是有序的,但是在很多机器学习任务中,存在很转载 2017-03-30 20:31:11 · 1083 阅读 · 0 评论 -
几种熵的意义
转载自:http://blog.csdn.net/u013713117/article/details/55099060熵:H(X)=−∑xp(x)lnp(x) 衡量不确定性的度量联合熵: H(X,Y)=−∑x,yp(x,y)lnp(x,y) (X,Y)在一起时的不确定性度量条件熵: H(X,Y)−H(X)=−∑x,yp(x,y)lnp(y|x) X确定时,转载 2017-03-09 10:28:24 · 4187 阅读 · 0 评论 -
交叉熵H(p||q)代价函数
转载地址:http://blog.csdn.net/u012162613/article/details/44239919本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比转载 2017-03-09 10:23:23 · 1373 阅读 · 1 评论 -
线性空间的一些直观感悟
第一部分前不久chensh出于不可告人的目的,要充当老师,教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显,chensh觉得,要让自己在讲线性代数的时候不被那位强势的学生认为是神经病,还是比较难的事情。可怜的chensh,谁让你趟这个地雷阵?!色令智昏啊!线性代数课程,无论你从行列式入手还是直接从矩阵入手,从一开始就充斥着莫名其妙。比如说,在全国一般工科院转载 2017-01-30 16:55:35 · 571 阅读 · 0 评论 -
再生核Hilbert空间
by pluskid, on 2011-01-25, in Machine Learning 28 comments用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况,那里用到的方法就是通过一个非线性映射 ϕ(⋅) 将原始数据进行映射,使得原来的非线性问题在映射之后的空间中变成线性的问题。然后我们利用核函数来简化计算,使得这样的方法在转载 2017-01-28 20:13:42 · 704 阅读 · 0 评论 -
graph Laplacian 拉普拉斯矩阵
拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。什么是拉普拉斯矩阵拉普拉斯矩阵 先说一下什么是拉普拉斯矩阵,英文名为Laplacian matrix,其具体形式得先从图说起,假设有个无向图如下所示, 其各个点之间的都有相应的边连接,我们用某个指标(这地方可以任意选择,比如欧氏距离、测地距离转载 2017-01-27 21:01:53 · 43189 阅读 · 3 评论 -
非常好的介绍流形假设文章
直观上来讲,一个流形好比是一个 d 维的空间,在一个 m 维的空间中 (m > d) 被扭曲之后的结果。需要注意的是,流形并不是一个“形状”,而是一个“空间”,如果你觉得“扭曲的空间”难以想象,那么请再回忆之前一块布的例子。如果我没弄错的话,广义相对论似乎就是把我们的时空当作一个四维流(空间三维加上时间一维)形来研究的,引力就是这个流形扭曲的结果。当然,这些都是直观上的概念,其实流形并不需要依靠嵌入在一个“外围空间”而存在,稍微正式一点来说,一个 d 维的流形就是一个在任意点出局部同胚于(简单地说,就是正逆转载 2017-02-12 17:26:12 · 5757 阅读 · 0 评论 -
向量范数和矩阵范数
作者:魏通链接:https://www.zhihu.com/question/20473040/answer/102907063来源:知乎以下分别列举常用的向量范数和矩阵范数的定义。向量范数1-范数: ,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的转载 2017-02-07 20:17:27 · 2513 阅读 · 0 评论 -
矩阵的迹的几条性质
由于这里没有公式编译器,我将以图片形式证明。1、矩阵的迹是什么?矩阵的迹是特征值的加和。2、矩阵的迹的性质及其证明。转自:http://blog.csdn.net/chan15/article/details/49948849转载 2017-02-07 22:35:33 · 3429 阅读 · 0 评论 -
矩阵、向量的求导
在网上看到有人贴了如下求导公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A'于是把以前学过的矩阵求导部分整理一下:1. 矩阵Y对标量x求导: 相当于每个元素转载 2017-02-07 21:01:48 · 650 阅读 · 0 评论 -
矩阵的范数求导
顶1踩转自:http://blog.csdn.net/chlele0105/article/details/21081917转载 2017-02-07 20:01:24 · 1406 阅读 · 0 评论 -
概率论:p(x|theta)和p(x;theta)的区别
http://blog.csdn.net/pipisorry/article/details/42715245求解最大似然估计时发现有两种表示方法 from:Gregor Heinrich - Parameter estimation for text analysisfrom:http://blog.csdn.NET/pip转载 2017-07-18 08:11:08 · 1165 阅读 · 0 评论