Jensen Lee的博客

约束优化方法之拉格朗日乘子法拉格朗日对偶

1 基本函数关系sin2α+cos2α=1sin^2{\alpha}+cos^2{\alpha}=1sin2α+cos2α=11+tan2α=sec2α1+tan^2{\alpha}=sec^2{\alpha}1+tan2α=sec2α1+cot2α=csc2α1+cot^2{\alpha}=csc^2{\alpha}1+cot2α=csc2α2 和差角公式2.1 二角和差公式2.2 三角和公式sin(α+β+γ)=sinα⋅cosβ⋅cosγ+cosα⋅sinβ⋅cosγ+

利用单位圆定义了三角比，而单位圆又具有很好的对称性，这些对称的性质产生了诱导公式。诱导公式可以不用记忆，用的时候直接画单位圆观察对称性即可。比如：角π+α的终边与角α的终边关于原点中心对称角π-α的终边与角α的终边关于y轴对称角-α的终边与角α的终边关于x轴对称角π/2-α的终边与角α的终边关于直线y=x对称注意：此图有误，π/2-α的终边的坐标应为(y,x)角π/2+α的终边三角形与角α的终边三角形全等关于口诀“奇变偶不变，符号看象限奇变偶不变，主要针对Kπ2±α\fr

线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题，当数据集不是线性可分的时候，需要利用到核函数将数据集映射到高维空间。这样数据在高维空间中就线性可分。高斯核函数（Gaussian kernel），也称径向基 (RBF) 函数，是常用的一种核函数。它可以将有限维数据映射到高维空间，我们来看一下高斯核函数的定义：k(x,x′)=e−∣∣x−x′∣∣22δ2k(x,x')=e^{-\frac{||x-x'||^2}{2\delta ^2}}k(x,x′)=e−2δ2∣∣x−x′∣∣

以下内容主要总结整理自以下文献：一、实数的取余运算二、取模和取余的区别三、负数、取模与取余背景最近在一道 Java 习题中，看到这样的一道题：What is the output when this statement executed:System.out.printf(-7 % 3);正整数的取余运算大家都很熟悉，但是对于负数、实数的取余运算，确实给人很新鲜的感觉。于是我对此...

相关函数介绍：相关系数（Karl Pearson系数）由卡尔*皮尔逊提出，广泛用于衡量两个变量线性相关程度的系数，它的平方称为判定系数。此外把反应两变量曲线相关程度的系数称为非线性相关系数。相关系数是测定变量之间关系密切程度的量。对两个变量之间的线性相关程度的度量称为单相关系数。通常以r表示样本的相...

1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko ...

完整文章请查看这里。转载请注明出处：本文来自learnhard的博客：http://www.codelast.com/ & http://blog.csdn.net/learnhard/，并保持文章...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jinshengtao/article/details/18448355 本文将分别介绍特征值分...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_20265495/article/details/51006311 kalman fi...

基于密度定义，我们将点分为：稠密区域内部的点(核心点)稠密区域边缘上的点(边界点)稀疏区域中的点(噪声或背景点).DBSCAN算法的本质就是随大流，边界点紧紧围绕着核心点，他们抱团，不带噪点玩儿小团体多了，联系比较密切的小团体之间聚成了同个类 比较偏远的小团体想要加入这个圈子，进不去，就单干，我们...

DBSCAN聚类算法三部分：1、        DBSCAN原理、流程、参数设置、优缺点以及算法；http://blog.csdn.net/zhouxianen1987/article/details/68945844...

学习卡尔曼滤波看了4天的文章,硬是没看懂.后来找到了下面的文章一下就看懂了.我对卡尔曼滤波的理解,我认为,卡尔曼滤波就是把统计学应用到了滤波算法上. 算法的核心思想是,根据当前的仪器”测量值” 和上一刻的 “预测量” 和 “误差”,计算得到...

转载自：https://blog.csdn.net/silangquan/article/details/39008903 提要旋转的表达方式有很多种...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/candycat1992/article/details/41254799 ...

1.矩阵特征值和特征向量定义        A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特...

A geometric interpretation of the covariance matrixContents [hide] [hide]1 Introduction2 Eigendecomposition of a covariance matrix3 Covariance matrix as a linear transformation4 ConclusionIntroduction...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lwzkiller/article/details/54633670 ...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ACdreamers/article/details/44656847 ...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yyywww666/article/details/42805071 ...

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/dcrmg/article/details/52416832 ...

其中，参数  称为松弛因子，0< <2。当  >1时，上式称为逐次超松弛迭代法；当  =1时，上式为Gauss-Seidel迭代法；当0<  <1时，上式称为低松弛迭代法。对于松弛因子的选取，应根据如下公式其中μ=ρ(B）是Jacobi矩阵的最大谱半径。C语言算法实现如下：/*****************************c....

 Procrustes Analysis普氏分析法      选取N幅同类目标物体的二维图像，并用上一篇博文的方法标注轮廓点，这样就得到训练样本集：     由于图像中目标物体的形状和位置存在较大偏差，因此所得到的数据并不具有仿射不变性，需要对其进行归一化处理。这里采用Procrustes分析方法对样本集中...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/red_stone1/article/details/70260070 红色石头的个人网站：redstonewill.com实际优化问题的目标函数往往比...

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。转载自：https://blog.csdn.net/red_stone1/article/details/70260070...

转载自:https://blog.csdn.net/newworld123made/article/details/51449739

版权声明：转载请注明出处 https://blog.csdn.net/GDFSG/article/details/50904811 ...

译文：https://blog.csdn.net/lybaihu/article/details/54943545#commentBox原文：http://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/

来源地址：https://en.wikipedia.org/wiki/QR_decomposition

转载自：https://blog.csdn.net/sayaitachi/article/details/77749613

如果你关心最优化（Optimization），你一定听说过一类叫作“信赖域（Trust Region）”的算法。在本文中，我将讲述一下信赖域算法与一维搜索的区别、联系，以及信赖域算法的数学思想，实现过程。【1】信赖域算法与一维搜索算法的区别、联系最优化的目标是找到极小值点，在这个过程中，我们需要从一个初始点开始，先确定一个搜索方向 d，在这个方向上作一维搜索（line search），找到此方...

最优化（Optimization）是应用数学的一个分支，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。我一直对最优化比较感兴趣，所以写过一些相关的笔记，可能有不正确的地方，但请学术派、技术流们多多包涵。➤ 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletch...

1.范数的意义(norm)数学中的映射表达的就是一个集合通过某种关系转为另外一个集合，为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵，所谓映射就是一个集合（向量），通过一种映射关系（矩阵），得到另外一个集合（另外一个向量）。 那么向量的范数，就是表示这个原有集合的大小。 而矩阵的范数，就是表示这个变化过程的大小的一个度量。 总结起来一句话，范数(no...

主要内容：矩阵的逆、伪逆、左右逆矩阵的左逆与最小二乘左右逆与投影矩阵一、矩阵的逆、伪逆、左右逆1、矩阵的逆定义：设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=I。 则我们称B是A的逆矩阵，而A则被称为可逆矩阵。可逆条件：A是可逆矩阵的充分必要条件是，即可逆矩阵就是非奇异矩阵。（当 时，A称为奇异矩阵）性质：矩阵A可逆的充要条件是A的行列式...

转载自：https://blog.csdn.net/crazy_scott/article/details/79621024

给定矩阵A，假设A有n个线性无关特征向量，按列组成矩阵S，所以这个S很自然地称为特征向量矩阵，并且 其中   称为特征值矩阵，由于S中是n个线性无关特征向量，因此S可逆，所以可对上式两边同时左乘S的逆，得到  ，如果右乘S的逆，则有   ，这是一种新的矩阵分解形式，前面在消元法中曾经介绍...

一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, 8, ...

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。示例[编辑]数据点（红色）、使用最小二乘法求得的最佳解（蓝色）、误差（绿色）。某...

 机器学习经典算法之-----最小二乘法  一.背景   5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基础，我咋不知道呢！ 看来以后还是要对...

double func(const VectorXd& input, const VectorXd& output, const VectorXd& params, double objIndex){    // obj = A * sin(Bx) + C * cos(D*x) - F    double x1 ...