数学优化入门:梯度下降法、牛顿法、共轭梯度法

1、基本概念1.1 方向导数1.2 梯度的概念如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到底有多陡。对于含有n个变量的标量函数,其梯度表示为 1.3 梯度与方向导数函数在某点的梯度是这样一个向量...

2018-02-27 11:25:13

阅读数:159

评论数:0

梯度下降、牛顿法、拟牛顿法

介绍在向量微积分中,标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向,梯度的长度是这个最大的变化率。更严格的说,从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在判别式模型中,我们往往需要学习参数,从而使得我们的模型f(x)可以逼近实际的y。如果学习参数,则...

2018-02-27 11:19:19

阅读数:50

评论数:0

Fisher判别分析

Fisher判别分析首先我们得搞清楚什么是Fisher算法?选取任何一本模式识别与智能计算的书都有这方面的讲解。首先得知道Fisher线性判别函数,在处理数据的时候,我们经常遇到高维数据,这个时候往往就会遇到“维数灾难”的问题,即在低维空间可行,那么在高维空间往往却不可行,那么此时我们就可以降数据...

2018-02-26 09:21:57

阅读数:619

评论数:0

机器学习基础(六)—— 交叉熵代价函数(cross-entropy error)

交叉熵代价函数1. 交叉熵理论交叉熵与熵相对,如同协方差与方差。熵考察的是单个的信息(分布)的期望:H(p)=−∑i=1np(xi)logp(xi)交叉熵考察的是两个的信息(分布)的期望: H(p,q)=−∑i=1np(xi)logq(xi)详见 wiki Cross entropyy = tf....

2018-02-23 13:45:51

阅读数:177

评论数:0

triplet loss 原理以及梯度推导

【前言】 最近,learning to rank 的思想逐渐被应用到很多领域,比如google用来做人脸识别(faceNet),微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity funct...

2018-02-22 12:41:30

阅读数:142

评论数:0

Siamese Network理解(附代码)

author:DivinerShi文章地址:http://blog.csdn.net/sxf1061926959/article/details/54836696提起siamese network一般都会引用这两篇文章: 《Learning a similarity metric discrimi...

2018-02-22 12:39:59

阅读数:246

评论数:0

YOLO(You Only Look Once)算法详解

这篇博客主要介绍下YOLO算法(CVPR2016的文章),以及如何在darknet上快速使用YOLO算法。YOLO是目前比较流行的object detection算法,速度快且结构简单,其他的object detection算法如faster RCNN,SSD相信大家也不陌生,以后有机会再介绍。另...

2018-02-21 21:53:29

阅读数:268

评论数:0

Understanding Generative Adversarial Networks

点击打开链接http://www.gatsby.ucl.ac.uk/~balaji/Understanding-GANs.pdf

2018-02-13 13:03:51

阅读数:73

评论数:0

GARCH模型

GARCH模型的定义 ARCH模型的实质是使用残差平方序列的q阶移动平移拟合当期异方差函数值,由于移动平均模型具有自相关系数q阶截尾性,所以ARCH模型实际上只适用于异方差函数短期自相关系数。  但是在实践中,有些残差序列的异方差函数是具有长期自关性,这时使用ARCH模型拟合异方差函数,将...

2018-02-05 13:56:04

阅读数:872

评论数:0

ZCA 白化

Contents  [hide] 1 介绍2 2D 的例子3 ZCA白化4 正则化5 中英文对照6 中文译者 介绍 我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为白化(一些文献中也叫spher...

2018-02-04 16:17:42

阅读数:176

评论数:0

梯度检验和随机的初始参数

1 梯度检验 写了这么多篇笔记,我发现反向传播算法是目前来说,我了解到最复杂的算法。 为了完整地理解算法,我还复习了导数方面的功课,花了不少时间。 这个算法,有太多的细节,实现起来非常容易出错。 有时候,你使用梯度下降算法进行迭代,虽然每次代价函数 J(θ) 的值都在下降,...

2018-02-04 10:52:43

阅读数:75

评论数:0

受限玻尔兹曼机(Restricted Boltzmann Machine)分析

受限玻尔兹曼机,简称RBM(下文中统一用RBM表示)。写这篇博客的原因是,下午看到吴恩达在Coursera上的Deep Learning课程中,跟Hinton的40分钟的采访,问Hinton他在AI中最令人惊喜的发现是什么,Hinton说就是他和Terry Sejnowski一起提出的玻尔兹曼机(...

2018-02-03 13:54:29

阅读数:304

评论数:0

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)

这篇写的主要是翻译网上一篇关于受限玻尔兹曼机的tutorial,看了那篇博文之后感觉算法方面讲的很清楚,自己收获很大,这里写下来作为学习之用。 原文网址为:http://imonad.com/rbm/restricted-boltzmann-machine/ 翻译如下: (注:下...

2018-02-03 13:53:42

阅读数:500

评论数:0

Deep Learning:Contrastive Divergence的提出

最近学习深度学习,先从RBM开始了解。 Hinton对RBM的训练算法进行改进,提出CD-K算法,故先阅读了相关论文,并翻译摘录如下,其中有部分不明白的地方,读者若知道,希望一起讨论。 该算法本用于PoE系统,但RBM也可以看作是PoE,因此在随后的论文中推广到了RBM 黄色字体部分是我自己...

2018-02-03 13:15:29

阅读数:131

评论数:1

LDA-math-MCMC 和 Gibbs Sampling

3.1 随机模拟 随机模拟 (或者统计模拟) 方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于 20 世纪 40 年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯. 诺依曼、费米、费曼、Nicholas Metrop...

2018-02-03 12:58:59

阅读数:84

评论数:0

随机过程--Metropolis-Hastings算法

随机过程–Metropolis-Hastings算法 随机过程Metropolis-Hastings算法 蒙特卡罗方法 生成随机数求解概率和期望问题栗子 马尔可夫链Metropolis算法Metropolis-Hastings算法 蒙特...

2018-02-03 11:49:08

阅读数:61

评论数:0

一文详解 Word2vec 之 Skip-Gram 模型(结构篇)

这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合,这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用TensorFlow实现基础版Word2Vec的skip-gram模型,所以本篇文章先做一个理论铺垫。 原文英文文档请参考链接: ...

2018-02-01 11:22:02

阅读数:567

评论数:0

Tensorflow:tSNE数据非线性降维

深度学习巨头之一的Hinton大神在数据降维领域有一篇经典论文Visualizing Data using t-SNE。该方法是流形(非线性)数据降维的经典,从发表至今鲜有新的降维方法能全面超越。该方法相比PCA等线性方法能有效将数据投影到低维空间并保持严格的分割界面;缺点是计算复杂度大,一般推荐...

2018-02-01 10:27:06

阅读数:449

评论数:0

比PCA降维更高级——(R/Python)t-SNE聚类算法实践指南

Saurabh是一名数据科学家和软件工程师,熟练分析各种数据集和开发智能应用程序。他目前正在加州大学伯克利分校攻读信息和数据科学硕士学位,热衷于开发基于数据科学的智能资源管理系统。 Linkedin:https://in.linkedin.com/in/saurabh-jaju Git...

2018-02-01 10:25:46

阅读数:128

评论数:0

word2vec是如何得到词向量的?

word2vec是如何得到词向量的?这个问题比较大。从头开始讲的话,首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英文语料库你可能需要大小写转换检查拼写错误等操作,如果是中文日语语料库你需要增加分词处理。这个过程其他的答案已经梳理过了不再赘...

2018-02-01 09:38:28

阅读数:1048

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭