2017年07月_caiexu

转载 Guass-newton

Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读开源项目代码，又碰到了，索性深入看下。本次讲解内容如下：基本数学名词识记牛顿法推导、算法步骤、计算实例高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例高斯牛顿法优劣总结一、基本概念定义1.非线性方程定义及最优化方法简述指因变量与自变量之间的关系不是线性的关系，比如平方关系、对

2017-07-31 15:41:50 653

转载高斯牛顿法 Guass-Newton

求最优估计x ∗ x∗，使得误差(残差)向量的ϵ=f(x ∗ )−z ϵ=f(x∗)−z的平方和S(x)=ϵ T ϵ S(x)=ϵTϵ最小，即求x ∗ =argmin x ϵ T ϵ=argmin x S(x)=argmin x ∥f(x)−z∥ 2 2 (1) (1)x∗=arg⁡minxϵTϵ=arg⁡minxS(x)=arg⁡minx‖f(x)−z‖22

2017-07-31 15:36:52 5133

转载 Procrustes Analysis普氏分析法

标签：选取N幅同类目标物体的二维图像，并用上一篇博文的方法标注轮廓点，这样就得到训练样本集：由于图像中目标物体的形状和位置存在较大偏差，因此所得到的数据并不具有仿射不变性，需要对其进行归一化处理。这里采用Procrustes分析方法对样本集中的所有形状集合进行归一化。形状和位置的载体还是样本点的空间坐标。普氏分析法是一种用来分析

2017-07-31 10:58:39 3297

转载 Ja

Jacobian矩阵和Hessian矩阵发表于 2012 年 8 月 8 日由 jacoxu1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 18

2017-07-31 10:12:42 355

转载 learning rate

本文从梯度学习算法的角度中看学习率对于学习算法性能的影响，以及介绍如何调整学习率的一般经验和技巧。在机器学习中，监督式学习（Supervised Learning）通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法（Gradient Descent）是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost function）来估

2017-07-30 15:10:26 457

转载 CNN Network

本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。一、从单层网络谈起在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：<img src="https://pic1.zhimg.com/v2-da9ac1b5e3f91086fd06e

2017-07-23 17:47:41 1346

转载 math foundation for deep learning

作者：王小新链接：https://www.zhihu.com/question/41459109/answer/202188958来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。强烈推荐《Deep Learning》这本书，之前看过小部分英文版，感觉很不错。&lt;img src="https://pic2.

2017-07-23 17:43:54 948

转载 Machine learning Convolusional Neural Network

以监督学习为例，假设我们有训练样本集，那么神经网络算法能够提供一种复杂且非线性的假设模型，它具有参数，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以及截距为输入值的运算单元，其输出为，其中函数被称为“

2017-07-18 11:53:32 267

caiexu的博客