Anne033的博客

大部分情况下都转换为凸优化问题，并通过最优化方法来求解，因此了解相关知识就显得尤为重要了。主要内容：问题引出凸集凸函数凸优化最优化1、问题引出在n维空间中，对于任意两个点，对于0<=μ<=1，则表达式μx+(1-μ)y表示x和y连线之间的所有点。证明略。2、凸集定义：对于某集合中的任意x, y两个点，若x和y连线之间的所有点（0<=μ<=1，μx+(1-μ)y）仍属于这个集合，则称此集合为凸集。维基百科：http://en.wikipedia.org/w

把自己最近学习的Steven Boyd的convex optimization的内容整理一下，将思维导图发出来供自己学习及参考。

一、回归分析回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。回归分析是建立因变量Y（或称依变量，反因变量）与自变量X（或称独变量，解释变量）之间关系的模型。简单线性回归使用一个自变量X，复回归使用超过一个自变量（X1,

一、Approximation and fitting二、Statistical estimationhttps://www.zhihu.com/question/24276013

https://blog.csdn.net/itnerd/article/details/83385817

最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。----乔治·斯蒂格勒的《The History of Statistics》1 日用而不知来看一个生活中的例子。比如说，有五把尺子：用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：之所以出现不同的值可能因为：不同厂家的尺子的生产精度不同尺子材质不同，热胀冷缩不一样测量的时候心情起伏不定…总之就是有误差，这种情况下，一般取平均值来作为线段的长度：x‾=10.2

kendall‘s notation A/B/n1/n2/n3A: describes the arrival process distributionB:describes the server process distributionn1:represents the number of serversn2:represents the maximum number of customers that the queue can holdn3:population size where the

最小加代数最小加代数最初是用于数字电路、通信网络以及制造工业等离散事件系统( Discrete Event Systems)建模的一种数学工具。在最小加代数中，下面两个运算符经常用到：最大加代数https://www.jianshu.com/p/c9847bb31834...

矩阵论记号约定https://zhuanlan.zhihu.com/p/75236945https://zhuanlan.zhihu.com/p/80952693https://blog.csdn.net/u010510549/article/details/101145389

零空间是在线性映射（即矩阵）的背景下出现的，指：像为零的原像空间，即{x| Ax=0}。在数学中，一个算子 A 的零空间是方程 Av = 0 的所有解 v 的集合。它也叫做 A 的核，核空间。如果算子是在向量空间上的线性算子，零空间就是线性子空间。因此零空间是向量空间。...

Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵(relative entropy)。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息量。K-L散度定义见文末附录1。另外在附录5中解释了为什么在深度学习中，训练模型时使用的是Cross Entropy 而非K-L Divergence。我们从下面这个问题出发思考K-L散度。

牛顿法主要有两方面的应用：求方程的根；求解最优化方法；为什么要用牛顿法求方程的根？问题很多，牛顿法 是什么？目前还没有讲清楚，没关系，先直观理解为 牛顿法是一种迭代求解方法（Newton童鞋定义的方法）。扩展到最优化问题这里的最优化 是指非线性最优化，解非线性最优化的方法有很多，比如 梯度下降法、共轭梯度法、变尺度法和步长加速法 等，这里我们只讲 牛顿法。其中H是hessian矩阵, 定义见上.高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性,