- 博客(20)
- 资源 (42)
- 收藏
- 关注
转载 数学优化入门:梯度下降法、牛顿法、共轭梯度法
1、基本概念1.1 方向导数1.2 梯度的概念如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到底有多陡。对于含有n个变量的标量函数,其梯度表示为 1.3 梯度与方向导数函数在某点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。1.4 梯度与等高线函数z=f(x...
2018-02-27 11:25:13 942
转载 梯度下降、牛顿法、拟牛顿法
介绍在向量微积分中,标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向,梯度的长度是这个最大的变化率。更严格的说,从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在判别式模型中,我们往往需要学习参数,从而使得我们的模型f(x)可以逼近实际的y。如果学习参数,则通常会用到梯度下降、牛顿、拟牛顿学习算法。 参考自网络资源1.梯度下降1.1 为何使用梯度作为下降方向...
2018-02-27 11:19:19 203
转载 Fisher判别分析
Fisher判别分析首先我们得搞清楚什么是Fisher算法?选取任何一本模式识别与智能计算的书都有这方面的讲解。首先得知道Fisher线性判别函数,在处理数据的时候,我们经常遇到高维数据,这个时候往往就会遇到“维数灾难”的问题,即在低维空间可行,那么在高维空间往往却不可行,那么此时我们就可以降数据降维,将高维空间降到低维空间。可以考虑把维空间的样本投影到一条直线上,形成一维空间,即把数据压缩到一维...
2018-02-26 09:21:57 2371
转载 机器学习基础(六)—— 交叉熵代价函数(cross-entropy error)
交叉熵代价函数1. 交叉熵理论交叉熵与熵相对,如同协方差与方差。熵考察的是单个的信息(分布)的期望:H(p)=−∑i=1np(xi)logp(xi)交叉熵考察的是两个的信息(分布)的期望: H(p,q)=−∑i=1np(xi)logq(xi)详见 wiki Cross entropyy = tf.placeholder(dtype=tf.float32, shape=[None, 10]).....
2018-02-23 13:45:51 725
转载 triplet loss 原理以及梯度推导
【前言】 最近,learning to rank 的思想逐渐被应用到很多领域,比如google用来做人脸识别(faceNet),微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function,而triplet loss是用的非常广泛的一种。【理解triplet】如上图所示...
2018-02-22 12:41:30 364
转载 Siamese Network理解(附代码)
author:DivinerShi文章地址:http://blog.csdn.net/sxf1061926959/article/details/54836696提起siamese network一般都会引用这两篇文章: 《Learning a similarity metric discriminatively, with application to face verification》和《 ...
2018-02-22 12:39:59 747
转载 YOLO(You Only Look Once)算法详解
这篇博客主要介绍下YOLO算法(CVPR2016的文章),以及如何在darknet上快速使用YOLO算法。YOLO是目前比较流行的object detection算法,速度快且结构简单,其他的object detection算法如faster RCNN,SSD相信大家也不陌生,以后有机会再介绍。另外提一下,这里算法部分介绍的是YOLO的第一个版本,而现在YOLO的官网上已经有第二个版本的实现了...
2018-02-21 21:53:29 1134
转载 Understanding Generative Adversarial Networks
点击打开链接http://www.gatsby.ucl.ac.uk/~balaji/Understanding-GANs.pdf
2018-02-13 13:03:51 211
转载 GARCH模型
GARCH模型的定义ARCH模型的实质是使用残差平方序列的q阶移动平移拟合当期异方差函数值,由于移动平均模型具有自相关系数q阶截尾性,所以ARCH模型实际上只适用于异方差函数短期自相关系数。 但是在实践中,有些残差序列的异方差函数是具有长期自关性,这时使用ARCH模型拟合异方差函数,将会产生很高的移动平均阶数,增加参数估计的难度并最终影响ARCH模型的拟合精度。 为了修正个问题,提
2018-02-05 13:56:04 39083 2
转载 ZCA 白化
Contents [hide]1 介绍2 2D 的例子3 ZCA白化4 正则化5 中英文对照6 中文译者介绍我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为白化(一些文献中也叫sphering)。举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗
2018-02-04 16:17:42 1162
转载 梯度检验和随机的初始参数
1 梯度检验写了这么多篇笔记,我发现反向传播算法是目前来说,我了解到最复杂的算法。为了完整地理解算法,我还复习了导数方面的功课,花了不少时间。这个算法,有太多的细节,实现起来非常容易出错。有时候,你使用梯度下降算法进行迭代,虽然每次代价函数 J(θ) 的值都在下降,但最终得到的结果却又有很大的误差,这很可能代码中依然存在一些问题。对于这样的情况,应该怎么处理
2018-02-04 10:52:43 233
转载 受限玻尔兹曼机(Restricted Boltzmann Machine)分析
受限玻尔兹曼机,简称RBM(下文中统一用RBM表示)。写这篇博客的原因是,下午看到吴恩达在Coursera上的Deep Learning课程中,跟Hinton的40分钟的采访,问Hinton他在AI中最令人惊喜的发现是什么,Hinton说就是他和Terry Sejnowski一起提出的玻尔兹曼机(Boltzmann Machine)。以此为契机,来分析一下BM和RBM。1、什么是BM?
2018-02-03 13:54:29 1384
转载 受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)
这篇写的主要是翻译网上一篇关于受限玻尔兹曼机的tutorial,看了那篇博文之后感觉算法方面讲的很清楚,自己收获很大,这里写下来作为学习之用。原文网址为:http://imonad.com/rbm/restricted-boltzmann-machine/翻译如下:(注:下文中的“我”均指原作者)受限玻尔兹曼机——简单的教程我读过很多关于RBM的论文,但是要
2018-02-03 13:53:42 2872
转载 Deep Learning:Contrastive Divergence的提出
最近学习深度学习,先从RBM开始了解。Hinton对RBM的训练算法进行改进,提出CD-K算法,故先阅读了相关论文,并翻译摘录如下,其中有部分不明白的地方,读者若知道,希望一起讨论。该算法本用于PoE系统,但RBM也可以看作是PoE,因此在随后的论文中推广到了RBM黄色字体部分是我自己加的公式推导过程,如有纰漏请指正。因为公式
2018-02-03 13:15:29 402 1
转载 LDA-math-MCMC 和 Gibbs Sampling
3.1 随机模拟随机模拟 (或者统计模拟) 方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于 20 世纪 40 年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯. 诺依曼、费米、费曼、Nicholas Metropolis, 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候,开始使用统计模拟的方法, 并
2018-02-03 12:58:59 275
转载 随机过程--Metropolis-Hastings算法
随机过程–Metropolis-Hastings算法随机过程Metropolis-Hastings算法蒙特卡罗方法生成随机数求解概率和期望问题栗子马尔可夫链Metropolis算法Metropolis-Hastings算法蒙特卡罗方法 蒙特卡罗(Monte Carlo)方法又称随机抽样或统计试验方法,简单地理解就是利
2018-02-03 11:49:08 913
转载 一文详解 Word2vec 之 Skip-Gram 模型(结构篇)
这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合,这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用TensorFlow实现基础版Word2Vec的skip-gram模型,所以本篇文章先做一个理论铺垫。原文英文文档请参考链接:- Word2Vec Tutorial - The Skip-Gram Modelhtt
2018-02-01 11:22:02 1103
转载 Tensorflow:tSNE数据非线性降维
深度学习巨头之一的Hinton大神在数据降维领域有一篇经典论文Visualizing Data using t-SNE。该方法是流形(非线性)数据降维的经典,从发表至今鲜有新的降维方法能全面超越。该方法相比PCA等线性方法能有效将数据投影到低维空间并保持严格的分割界面;缺点是计算复杂度大,一般推荐先线性降维然后再用tSNE降维。python sklearn有相应的实现。我现在用Tensorfl
2018-02-01 10:27:06 1736
转载 比PCA降维更高级——(R/Python)t-SNE聚类算法实践指南
Saurabh是一名数据科学家和软件工程师,熟练分析各种数据集和开发智能应用程序。他目前正在加州大学伯克利分校攻读信息和数据科学硕士学位,热衷于开发基于数据科学的智能资源管理系统。Linkedin:https://in.linkedin.com/in/saurabh-jajuGithub: https://github.com/saurabhjaju2介绍 许
2018-02-01 10:25:46 699
转载 word2vec是如何得到词向量的?
word2vec是如何得到词向量的?这个问题比较大。从头开始讲的话,首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英文语料库你可能需要大小写转换检查拼写错误等操作,如果是中文日语语料库你需要增加分词处理。这个过程其他的答案已经梳理过了不再赘述。得到你想要的processed corpus之后,将他们的one-hot向量作为word2vec的
2018-02-01 09:38:28 1783
Pro Go The Complete Guide -go语言学习最新书籍
2023-06-19
Advanced_Programming_in_the_UNIX_Environment,_3rd
2018-11-30
Deep_Learning_Quick_Reference
2018-09-01
Convex Optimization Algorithms
2018-09-01
Guide.to.Medical.Image.Analysis.Methods.and.Algorithms
2018-09-01
Hands-On Data Science and Python Machine Learning py
2018-03-27
Python Machine Learning Machine Learning and Deep Learning
2018-03-27
Data Structures and Algorithms Using Python and C++
2018-03-27
R_for_Data_Science
2018-03-27
Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow
2018-03-17
Approximate.Dynamic.Programming.2011
2018-01-17
Swarm Intelligence Principles Advances and Applications
2018-01-13
Neural_Network_Methods_in_Natural_Language_Processing
2017-12-25
Reinforcement Learning With Open A TensorFlow and Keras Using Python.pdf
2017-12-18
Fundamentals of Deep Learning完整非扫描版本2017
2017-12-16
Text Mining in Practice with R 2017.12
2017-12-13
Text_Mining-From_Ontology_Learning_to_Automated_Text_Processing_Applications
2017-12-13
Tensorflow 机器学习参考手册2007
2017-11-22
Spark大数据处理技术 带标签 完整版
2017-11-12
模式分类11
2016-11-07
集体编程智慧
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人