机器学习与数据挖掘
文章平均质量分 68
Durant_kevin
love opensource and data analysis^~^
展开
-
监督型字典学习
字典分两种,一种是隐性字典,implicit dictionary,这种主要是由它们的算法表现出来的,而不是矩阵结构,比如wavelet,curvelet,contourlet,等等。另一种是通过机器学习来从样本中获取字典,这种字典表现为一种显性矩阵,explicit matrix,而算法是用来适应矩阵的,比如PCA,GPCA,MOD,K-SVD等等,这种字典的好处在于比前一种灵活,表现也好,原创 2014-04-11 16:41:09 · 3869 阅读 · 0 评论 -
梯度下降算法(Gradient Descent)
最近在搞论文,需要用梯度下降算法求解,所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。梯度下降的性质:1.求得的解和选取的初始点有关2.可以保证找到局部最优解,因为梯度最终会减小为0,即步长会自动越来越小。梯度简介一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向,即方向导数取最大值的方向。问题描述公式求导学习率选择假原创 2014-05-05 23:54:55 · 3425 阅读 · 0 评论 -
随机梯度下降(SGD)
关于什么是梯度下降,请看我之前发的一个博文:http://blog.csdn.net/lilyth_lilyth/article/details/8973972梯度下降能帮助我们找到局部最优值,取得很小的损失,但是在数据量达到数十万时,迭代次数高,运算速度慢,十分不适合。这时候可以考虑使用随机梯度下降算法。所谓随机梯度下降是 每次用 每个样本的损失函数(即样本数为1时的损失函数)对th原创 2014-07-22 22:26:00 · 11096 阅读 · 7 评论 -
准确率和召回率(precision&recall)
算法评价指标:准确率和召回率。原创 2014-08-23 14:26:01 · 20494 阅读 · 0 评论