- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3
2016-01-17 23:13:55
961
1
转载 牛顿法与拟牛顿法学习笔记（四）BFGS 算法
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3
2016-01-17 23:13:28
567
转载 牛顿法与拟牛顿法学习笔记（三）DFP 算法
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3
2016-01-17 23:12:51
1226
1
转载 牛顿法与拟牛顿法学习笔记（二）拟牛顿条件
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3
2016-01-17 23:12:17
967
1
转载 牛顿法与拟牛顿法学习笔记（一）牛顿法
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3
2016-01-17 23:11:25
880
1
原创 asp.net url重写
由于需要我们经常会想将动态的页面做成伪静态的，或者在get传值的时候使其简洁明了（实现“可删节”的URL），这时我们需要用到URL重写。 具体实现步骤（其中的一种实现方法）： 一、下载相关的DLL（ActionlessForm.dll和UrlRewriter.dll） http://download.csdn.net/detail/u012102306/940707
2016-01-17 02:06:29
453
原创 最速下降法 牛顿法 共轭梯度法
最速下降：实在没什么好说的，,until共轭梯度：区别在于方向限制在初始点的共轭方向空间内随机梯度：相对上面两者每次用所有样本计算下降方向，每次随机选1个或batch个样本牛顿法：二阶Talor展开，方向pseudo-Newton (BFGS为例)：，，(未完,待补充整理)
2016-01-16 23:16:46
1262
1
原创 岭回归(Ridge Regression)
数值计算方法的“稳定性”是指在计算过程中舍入误差是可以控制的。对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列
2016-01-16 22:10:04
3972
原创 局部加权回归
通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting），比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的过拟合（overfitting），不符合数据真实的模型。 今天来讲一种非参数学习方法，叫做局部加权回归（LWR）。为什么局部加权回归叫做非参数学习方法呢？ 首
2016-01-16 21:45:22
704
转载 Haar分类器方法：Haar特征、积分图、 AdaBoost 、级联
浅析人脸检测之Haar分类器方法一、Haar分类器的前世今生 人脸检测属于计算机视觉的范畴，早期人们的主要研究方向是人脸识别，即根据人脸来识别人物的身份，后来在复杂背景下的人脸检测需求越来越大，人脸检测也逐渐作为一个单独的研究方向发展起来。 目前的人脸检测方法主要有两大类：基于知识和基于统计。Ø 基于知识的方法：主要利用先验知识将人脸看作器
2016-01-11 12:49:17
3991
1
原创 相似度/距离公式汇总
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录：1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离
2016-01-11 11:16:12
3584
转载 目标检测的图像特征提取之Haar特征
1、Haar-like特征 Haar-like特征最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，使用3种类型4种形式的特征。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例
2016-01-11 10:56:01
784
原创 栈模拟队列、队列模拟栈
为实现简便，假设栈不会溢出.1.两个栈模拟队列s1负责入队,s2负责出队.入队时：直接压入s1出队时：判断s2是否有元素，若有则弹出，若没有，则将s1倒入s2，再将s2栈顶弹出。若s1、s2均为空，则队列为空。#include #include #include using namespace std;//栈模拟队列void enqueue(stack *s
2016-01-06 18:04:06
488
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人