算法
文章平均质量分 52
ihoujie
这个作者很懒,什么都没留下…
展开
-
使用AR模型来预测轨迹
自回归模型(Autoregressive Model)是用自身做回归变量的过程,即利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型,它是时间序列中的一种常见形式。原创 2014-10-19 19:27:01 · 7078 阅读 · 0 评论 -
批梯度下降法和随机梯度下降法(SGD)
相比于批梯度下降法,随机梯度下降法更快,但是也有不能收敛到最优解的问题。一种min-batch的梯度下降法是二者的折中。原创 2016-03-08 18:42:50 · 658 阅读 · 0 评论 -
重新发现梯度下降法--backtracking line search
原文地址:http://www.cnblogs.com/fstang/p/4192735.html一直以为梯度下降很简单的,结果最近发现我写的一个梯度下降特别慢,后来终于找到原因:step size的选择很关键,有一种叫backtracking line search的梯度下降法就非常高效,该算法描述见下图:下面用一个简单的例子来展示,给一个无约束优化问题:mini转载 2016-03-08 22:09:21 · 3583 阅读 · 2 评论 -
什么是光滑的函数?
光滑函数(smoothing function)是指在优化过程中,如果目标函数是光滑函数,那么有一些最优化方法可以保证优化时得到全局最优解。原创 2016-03-08 15:29:51 · 23025 阅读 · 0 评论 -
alternating minmize算法
alternating minmize算法,中文称作交替最小法。算法思想:假定有目标函数f(U,V),每次仅把其中的一个变量视作可变量进行优化,其他的变量视作常量,对所有的变量交替进行此优化操作。假定初始有(U,V)=(U0,V0)U1 = argmin_U{f(U,V0)}得到(U1, V0)--->f(U1,V0)V1 = argmin_V{f(U1,V)}得到(U原创 2016-03-05 00:16:51 · 2832 阅读 · 0 评论 -
贝叶斯模型是什么?
贝叶斯理论和贝叶斯模型一直没有搞清楚过,现在来好好学习一遍。原创 2015-11-26 11:16:03 · 15540 阅读 · 0 评论 -
EM算法和MM算法
EM算法是机器学习中常用到的优化算法。MM算法与EM算法有联系但是又有区别,简单来说EM算法是MM算法中的一种情况。原创 2015-11-05 21:48:39 · 7703 阅读 · 0 评论 -
基因序列分类问题——多类分类器的设计
1. 问题背景 生物学研究中,用检测DNA序列来判断检测对象的物种越来越成为一种简便、快捷的手段。现在的测量技术已经能够很方便地测量出物种的DNA序列,将其进行分类可以运用机器学习的方法。本文将探讨如何基于DNA序列的数据集设计一个性能良好的多类的分类器。2. 数据集简介 数据集中有共20000条基于序列,一共来自10个物种。其中一条基因是一个72个碱基的序列,如下所示:AGGGG原创 2015-07-02 17:21:43 · 6012 阅读 · 3 评论 -
机器学习中的bagging技巧
bagging的作用bagging是增强原算法的一种手段。神经网络、分类问题、回归问题、线性回归中的子集选择问题、k最近邻算法都可以使用bagging来加强。使用bagging加强后的算法的性能会出现一些有规律的变化。一般而言,若原来的算法的稳定性差,使用bagging后,算法的准确率会得到较大程度的提高。若原来的算法的稳定性高,则使用bagging后,算法的准确率会略微降低。因此,在考虑使用bag原创 2015-07-10 17:00:03 · 4314 阅读 · 0 评论 -
拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno
在最优化领域,有几个你绝对不能忽略的关键词:拟牛顿、DFP、BFGS。名字很怪,但是非常著名。下面会依次地说明它们分别“是什么”,“有什么用” 以及 “怎么来的”。但是在进入正文之前,还是要先提到一个概念上的区别,否则将影响大家的理解:其实DFP算法、BFGS算法都属于拟牛顿法,即,DFP、BFGS都分别是一种拟牛顿法。先说一点轻松的——我至少要让一小部分人对这篇文章“有点兴趣转载 2015-06-03 22:25:15 · 1111 阅读 · 0 评论 -
八皇后问题的暴力解决
本解决办法不使用深奥的算法思想,有点暴力,仅供各位参考。原创 2014-07-09 13:42:58 · 1145 阅读 · 0 评论 -
并行sgd算法和min-batch gd算法
sgd算法全称随机梯度下降法,有着比批梯度下降法更快收敛的优势,该算法名称中的“随机”二字是改算法的中心精神所在。sgd算法是一种天生的串行的算法,当数据量大的时候们希望通过使用多个机器并行计算的方法来提高计算速度,所以将sgd算法并行化是一个值得探讨的话题。min-batch gd算法综合了sgd算法和batch gd算法二者的优缺点,是串行算法,但可以在batch内使用并行计算原创 2016-04-13 17:51:15 · 4367 阅读 · 0 评论