基础数学类
文章平均质量分 65
正仪
醉后不知天在水,满船清梦压星河
展开
-
Jensen‘s Inequality 的常用形式
Jensen's inequality 的四种常用形式,学会灵活运用原创 2023-02-02 15:58:09 · 583 阅读 · 0 评论 -
共轭函数及其性质
共轭函数(conjugate function)亦称对偶函数:如果fRn→Rf:R^n→RfRn→R是一个函数,那么ffff∗ysupx∈dmffyTx−fxf∗yx∈dmffsupyTx−fx))其中f∗yf^*(y)f∗y的定义域是使得等式右边有上界的那些y。转载 2023-02-02 10:53:18 · 6286 阅读 · 0 评论 -
Why is the subgradient not a descent method?
I am reading this nice document about the subgradient method, which defines the subgradient method iteration as follows.xk+1=xk−αkgk \begin{align*}x_{k+1}=x_{k}-\alpha_k g^k\end{align*}xk+1=xk−αkgkfor a ggg such thatf(y)≥f(x)+gT(y−x) \begin{alig转载 2023-01-02 22:02:07 · 185 阅读 · 0 评论 -
We can view gradient descent as minimizing quadratic approximation
we can view gradient descent as minimizing quadratic approximation转载 2022-12-15 01:36:51 · 131 阅读 · 0 评论 -
管理科学与运筹学(MS/OR)国际期刊最新权威排名
不得不说这个期刊很出名的,但是也不得不说这个期刊是最近几年,甚至是最近10年水平下降最厉害的期刊,非常可惜。在MS/OR,及工业工程IE领域,以往较出名的三大权威期刊有:EJOR,IJPE,IJPR。MS/OR领域权威期刊,与EJOR极像,都是荷兰的期刊,IJPE一年的文章数量300-400篇(比EJOR少100篇左右),IF近年来2左右。MS/OR领域权威期刊,接受很多细分领域(如库存,物流,城市规划,交通,投资策略等等)的文章,偏向数值分析。OR领域权威期刊,文章较短,数学要求高,比较难发啊。转载 2022-12-09 12:35:21 · 3494 阅读 · 0 评论 -
Max–min inequality
Max–min inequality转载 2022-11-30 15:17:24 · 177 阅读 · 0 评论 -
混合整数规划问题:Benders 解耦法
一、 算法背景Benders分解算法是 J.F.Benders 在1962年首先提出的,是解决某些大规模优化问题的一种求解方法。Benders 分解不是同时考虑大规模问题的所有决策变量和约束,而是将问题划分为多个较小的问题。 由于优化问题的计算难度随着变量和约束的数量而显着增加,因此迭代地解决这些小问题可能比解决单个大问题更有效。本文,我们只探讨最基础的 Benders 分解算法,只考虑将混合整数规划问题分解为线性规划和整数规划两个子问题。 更深入的探讨及原理分享,后期会在本人公众号内逐一展示,欢迎关注原创 2022-05-06 22:39:54 · 3795 阅读 · 3 评论 -
Extreme Points and Extreme Rays
原文链接: Describing Polyhedra by Extreme Points and Extreme Rays 作者:John Mitchell翻译 2022-05-05 18:14:41 · 1062 阅读 · 0 评论 -
条件概率的一些结论以及理解
这周刚考完随机过程,考完以后也一直不太想学习,就顺便写写一些当时复习时的小结论以及课堂笔记,有不对的地方希望大家及时纠正。这篇博客分享了一些与“条件概率”有关的结论和理解。先说结论:条件概率常见结论设X、YX、YX、Y是随机变量,则有:E(g(X)h(Y)∣Y)=h(Y)E(g(X)∣Y)E(g(X)h(Y)|Y)=h(Y)E(g(X)|Y)E(g(X)h(Y)∣Y)=h(Y)E(g(X...原创 2018-11-17 14:37:14 · 2665 阅读 · 0 评论 -
关于泰勒展开的两点思考
关于泰勒展开的两点思考泰勒展开我们都非常熟悉,公式如下:eλt=∑n=0∞(λt)nn!e^{\lambda t}= \sum_{n=0}^\infty\frac{ (\lambda t)^n}{n!}eλt=∑n=0∞n!(λt)n第一点思考当 n→∞n\rightarrow\inftyn→∞时,有limn→∞(λt)nn!=0\lim_{n \to \infty}\frac{ (...原创 2018-11-11 11:33:32 · 1382 阅读 · 0 评论 -
MATLAB fmincon函数 进阶资料(磕盐记录)
初级资料:Matlab求解非线性规划,fmincon函数的用法总结完备资料:MathWork原创 2022-03-18 15:37:02 · 29780 阅读 · 42 评论 -
对偶上升实例-MATLAB代码
一、本文概述:本文给出对偶上升法(dual ascent)求解凸优化问题最优解的代码实例。如果您觉得对您有帮助,请点个赞,加个收藏,谢谢!二、问题实例本文以下述实例为例,撰写对偶上升法的迭代步骤,并给出最终可运行的MATLAB代码,以便大家上手学习。1)优化问题为:minx1,x2 f(x1,x2)=2(x1−1)2+(x2+2)2s.t.{x1≥2x2≥0\begin{aligned}&\mathop{min}\limits_{x_1,x_2} \ f(x_1,x_2)=原创 2022-01-28 22:15:54 · 3366 阅读 · 18 评论 -
朗伯W函数 常用技巧
原文链接:维基百科朗伯W函数例子:许多含有指数的方程都可以用 W 函数来解出。一般的方法是把未知数都移到方程的一侧,并设法化为Y=XeX Y=XeX{\displaystyle Y=Xe^{X}\,}Y= Xe^XY=XeXY=XeX的形式。...转载 2021-11-07 13:56:57 · 3086 阅读 · 0 评论 -
Proper convex function
In mathematical analysis, in particular the subfields of convex analysis and optimization, a proper convex function is an extended real-valued convex function with a non-empty domain, that never takes on the value -∞ and also is not identically equal to +∞转载 2021-10-12 20:09:54 · 598 阅读 · 0 评论 -
branch and bound(分支定界)算法-基础概念
网址:干货 | 10分钟带你全面掌握branch and bound(分支定界)算法-概念篇转载 2021-04-09 16:33:25 · 905 阅读 · 0 评论 -
DBN网络
原理网址:深度学习-深度信念(置信)网络(DBN)-从原理到实现(DeepLearnToolBox)需要注意:第一个网址中的代码要安装DeepLearnToolBox工具箱以后才可以运行工具箱免费下载网址:github工具箱安装网址:Matlab深度学习笔记——安装deep learning toolbox...转载 2020-11-21 22:49:34 · 357 阅读 · 0 评论 -
学习记录——DSIC与IC的区别
看机制设计的知识时,经常看到IC(Incentive compatibility),与DSIC(dominant-strategy incentive-compatibility),很多时候一不小心就将两者混为一谈,今日搜了一下才知道两者的区别。Incentive compatibility(IC):A mechanism is called incentive-compatible (IC) if every participant can achieve the best outcome to t原创 2020-11-16 15:14:18 · 2144 阅读 · 0 评论 -
学习记录——背包问题基础公式解释回顾
另附参考网址转载 2020-11-13 14:58:27 · 263 阅读 · 0 评论 -
梯度下降法和最速下降法的细微差别
“所谓的梯度方向只是起始点(xk)的梯度方向,并不一定是起始点和终点之间其他点的梯度方向”梯度下降法和最速下降法的细微差别转载 2020-10-26 18:46:34 · 261 阅读 · 0 评论 -
次梯度
原文链接:次梯度方法首发于凸优化学习笔记写文章【凸优化笔记5】-次梯度方法(Subgradient method)Lauer南风,南风29 人赞同了该文章目录1.问题引入2.次梯度的定义3.次梯度优化条件(Subgradient optimality condition)4.次梯度迭代算法5.次梯度方法求解lasso问题1. 问题引入对于可导的凸函数,我们通常使用常规的梯度下降法处理,但当目标函数不可导(在某些点上导数不存在)时,我们就没法使用常规的梯度下降法处理。于是引入次梯度(Subgradient)转载 2020-10-05 20:47:24 · 3156 阅读 · 0 评论 -
为什么交叉熵(cross-entropy)可以用于计算代价?
先给出一个“接地气但不严谨”的概念表述:熵:可以表示一个事件A的自信息量,也就是A包含多少信息。KL散度:可以用来表示从事件A的角度来看,事件B有多大不同。交叉熵:可以用来表示从事件A的角度来看,如何描述事件B。一句话总结的话:KL散度可以被用于计算代价,而在特定情况下最小化KL散度等价于最小交叉熵。而交叉熵的运算更简单,所以用交叉熵来当做代价。原文链接:为什么交叉熵(cross-entropy)可以用于计算代价?...转载 2020-09-20 09:45:22 · 141 阅读 · 0 评论 -
深度信念网络简述(DBN)
让我们把时间拨回到2006年以前,神经网络自20世纪50年代发展起来后,因其良好的非线性能力、泛化能力而备受关注。然而,传统的神经网络仍存在一些局限,在上个世纪90年代陷入衰落,主要有以下几个原因:1、传统的神经网络一般都是单隐层,最多两个隐层,因为一旦神经元个数太多、隐层太多,模型的参数数量迅速增长,模型训练的时间非常之久;2、传统的神经网络,随着层数的增加,采用随机梯度下降的话一般很难找到最优解,容易陷入局部最优解。在反向传播过程中也容易出现梯度弥散或梯度饱和的情况,导致模型结果不理想;3、随着神原创 2020-09-19 18:31:18 · 2524 阅读 · 0 评论 -
Hungarian Algorithm匈牙利算法
原文链接:Hungarian Algorithm匈牙利算法 匈牙利算法简介匈牙利算法是一种在多项式时间内(O(n3)O(n3))求解任务分配问题的组合优化算法。转载 2020-08-29 16:13:43 · 561 阅读 · 0 评论 -
矩阵的Cholesky分解
首先来复习线性代数中几个重要的概念。1)如果一个复矩阵A = A*(共轭转置),则A称为Hermitian矩阵。(注意,矩阵A转置后仍为其本身,显然A一定是方阵。)2)关于正定矩阵的定义:Mn×n 是一个对称的实矩阵,对于任意的(由n个实数组成)的非零列向量z,都有 zTMz > 0,则称M是正定的(positive defini...转载 2020-06-24 15:15:05 · 7304 阅读 · 0 评论 -
design and analysis of computational and physical experiments
Optimization Codes ~ for design and analysis of computational and physical experiments:matlab代码原创 2020-06-24 10:36:33 · 157 阅读 · 0 评论 -
SMO算法详细推导(Sequential Minimal Optimization)
本文针对一般性的“软判断的核函数的SVM”,形如下式: 上式问题所在:当采样点 xix_ixi 选取50000个点时,则基于核函数变量Θ(xi,xj)\bm{\Theta(x_i,x_j)}Θ(xi,xj)将需要大约10GB的RAM来存储Θ(xi,xj)\bm{\Theta(x_i,x_j)}Θ(xi,xj)。这里介绍前人所提的SMO算法,以降低存储空间。1. 符号定义定义下述三个符号,以便后文表述: 2. 整理目标函数 3. α2new\alpha_2^{new}α2原创 2020-06-17 22:30:58 · 2906 阅读 · 4 评论 -
变分法原理
原文链接: 浅谈变分法原理首发于烤羚羊的理科教室写文章浅谈变分原理烤羚羊吃老本的物理教师、民科老咸鱼784 人赞同了该文章对付数学物理中极值问题,变分大法(variational principle)可谓是杀人放火居家旅行的必备工具。今天这篇就来介绍变分法的基本思想。碎碎念:我一个教物理的,为啥成天一个劲写数学呢???变分大法轶事 大约1696年的6月,瑞士数学家 Johann Bernoulli 在 Acta Eruditorum(第一份德语的科学期刊)上向全世界的数学家发起了一项挑战。他提出了这么一个转载 2020-06-15 16:43:05 · 20742 阅读 · 8 评论 -
核函数与径向基函数 (Radial Basis Function 简称 RBF)详解
1.核函数1.1核函数的由来-----------还记得为何要选用核函数么?-----------对于这个问题,在Jasper's Java Jacal博客《SVM入门(七)为何需要核函数》中做了很详细的阐述,另外博主对于SVM德入门学习也是做了很详细的阐述,有兴趣的可以去学习,写得相当好,特意转载了过来,留念一下。如果提供的样本线性不可分,结果很简单,线性分类器的求解程序会无限循环,永远也解不出来。这必然使得它的适用范围大大缩小,而它的很多优点我们实在不原意放弃,怎么办呢?是否有某种方法,让.转载 2020-06-14 22:45:21 · 8948 阅读 · 1 评论 -
Branin function 简介
Branin functio is a well-known test function for global optimization.函数表达式:f(x)=a(x2−bx12+cx1−r)2+s(1−t)cos(x1)+s\begin{aligned}f(x)=a(x_2-bx_1^2+cx_1-r)^2+s(1-t)cos(x_1)+s\end{aligned}f(x)=a(x2−bx12+cx1−r)2+s(1−t)cos(x1)+s函数描述:Dimensions: 2原创 2020-06-13 19:46:26 · 3227 阅读 · 1 评论 -
Review of Surrogate Model Algorithms
Surrogate model based optimization algorithms consist in general of the following steps:In Step 1, an initial experimental design is created and the computationally expensive objective function is evaluated at the selected points. In general, any initial原创 2020-06-11 17:55:27 · 594 阅读 · 0 评论 -
基于贝叶斯推断的分类模型& 机器学习你会遇到的“坑”
链接:贝叶斯推断分类 数学准备概率:事件不确定性程度的量化,概率越大,表示事件发生的可能性越大。条件概率:P(A|B),在条件B下,发生A的概率。联合概率:P(A,B),A事件与B事件同时发生的概率。如果因子相互独立,联合概率等于因子概率乘积,即P(A,B)=P(A)P(B)。如果因子独立性不可转载 2020-06-07 11:26:40 · 370 阅读 · 0 评论 -
black-box优化——第二篇:直接搜索算法
前文介绍的的CS算法隶属于 “直接搜索法(direct search methods)” ,而直接搜索法的基本原则是:从现有解决方案中开始算法,并不断地检查试验解集合。 如果发现当前的试验解有改进,则更新现有解;否则,则减小步长参数,并检查新的试验点集合。本节,改进CS算法,并提出两类新的直接搜索法——generalised pattern search (GPS) 和 mesh adaptive direct search (MADS)首先,这些方法允许在除2n个正负坐标方向之外的其他方向上搜索。其次原创 2020-06-06 00:03:39 · 2367 阅读 · 1 评论 -
black-box优化——第一篇:基础BBO算法
两个缩写:derivative free optimization (DFO) :无导数优化black-box optimization (BBO) :黑箱优化一、基本DFO算法先介绍一些 naive 的方法来解决 BBO 问题,这样可以让大家了解到为什么DFO在实际中,如此受到欢迎。1. ES算法(Exhaustive Search)优化问题:min{f(x),x∈Ω}\begin{aligned}min\{f(x),x\in \Omega\}\end{aligned}min{f(x原创 2020-06-04 17:02:33 · 3101 阅读 · 0 评论 -
从梯度下降到ADMM-学习记录
研一学的凸优化,现在忘得都差不多了,所以,从基础开始简单回顾一下。一、梯度下降算法原理推导链接:为什么局部下降最快的方向就是梯度的负方向?梯度直观理解:原创 2020-06-03 13:56:41 · 1086 阅读 · 0 评论 -
渐进最优性
作用:渐进最优是用以评价算法的效率定义:如果已经证实一个问题需要使用Ω(f(n))的资源来解决,而某个算法用O(f(n))的资源来解决这个问题,则该算法就是渐进最优的。解释:(1) O符号表示函数在增长到一定程度时总小于一个特定函数的常数倍,大Ω符号则表示总大于。(2) 用数学语言描述即是:f(ν)=Ω[g(ν)]{\displaystyle f(\nu )=\Omega [g(\nu )]}f(ν)=Ω[g(ν)]的含义为:若存在x1,κ{\displaystyle x_{1},\kapp原创 2020-06-01 11:01:23 · 2617 阅读 · 0 评论 -
变分贝叶斯学习记录
一、基础知识1.为什么要变分贝叶斯?这是由于传统贝叶斯算法中的后验概率(Posterior)P(Z∣X)P(Z|X)P(Z∣X)难以求解(其中XXX为已知的观测数据,ZZZ为隐变量),因此,通过变分贝叶斯的方法,寻找一个近似后验概率的概率向量,以代替传统方法中的难以求解的后验概率。后文中,在正式介绍变分贝叶斯之前,我们先来介绍一下EM算法及隐变量的含义。2. EM算法都干了些啥?我们先以混合高斯模型(GMM)为例,来解释一下EM(Expectation-Maximization Algorithm)原创 2020-05-30 21:43:47 · 2482 阅读 · 0 评论 -
分类算法学习(二)——贝叶斯算法的原理及简单实现
1.3、贝叶斯分类的基础——贝叶斯定理 每次提到贝叶斯定理,我心中的崇敬之情都油然而生,倒不是因为这个定理多高深,而是因为它特别有用。这个定理解决了现实生活里经常遇到的问题:已知某条件概率,如何得到两个事件交换后的概率,也就是在已知P(A|B)...转载 2020-05-26 22:09:07 · 1796 阅读 · 0 评论 -
变分法和变分贝叶斯推断
<div class="wrapper clearfix"> <div class="hgroup-wrap clearfix"> <section class="hgroup-right"> <div class="social-profiles clearfix"> <ul><li class="facebook"><a href="https://www.facebook.c...转载 2020-05-26 21:56:28 · 2313 阅读 · 0 评论 -
什么是P问题、NP问题和NPC问题
链接:NPC、NP、P问题 什么是P问题、NP问题和NPC问题 ...转载 2020-05-08 15:19:04 · 197 阅读 · 0 评论 -
泛函分析——步尚全老师第四章课后题答案往年题
百度网盘链接:https://pan.baidu.com/s/1ECupHu5-Dz-XOgpaThQckA原创 2019-02-27 23:13:10 · 1655 阅读 · 1 评论