花书笔记1-数学基础1

 

1. 极大似然估计

因为之前学过李航的那本,所以这里了解的比较好。极大似然估计是当变量服从某一分布时,令情况(数据)出现的概率最大时的参数。

设一个变量服从高斯分布。则对n个数据进行似然估计,可以得到如果让这n个数据发生,则这个变量应服从\mu = \frac{\sum x_{i}}{n} \\ \sigma^{2} =\frac{\sum (x_{i}-\mu )^{2}}{n}的高斯分布

 

设多元回归的残差服从标准正太分布,则解出来的w和最小二乘法得到的是一样的。

 

2. 无约束优化

找到函数的最大值或最小值

即找到令f^{'}(x)=0x_{0}。有两种方法:梯度下降法和牛顿法。

2.1 梯度下降法

为什么选择负梯度方向为下降方向?

因为在这个方向上值减少的最快,能最快找到最小值。

为森么在这个方向上下降最快?

令下降方向与x坐标轴夹角为\theta,并且下降长度为l

则在单位长度上下降的大小(即下降速度):

\frac{f(x_{0}+lcos(\theta),y_{0}+lsin(\theta)))-f(x_{0},y_{0})}{l}

做下变换:

\frac{f(x_{0}+lcos(\theta),y_{0}+lsin(\theta)))-f(x_{0},y_{0})}{l}\\ =sin(\theta)\frac{f(x_{0}+lcos(\theta),y_{0}+lsin(\theta)))-f(x_{0}+lcos(\theta),y_{0})}{lsin(\theta)}+cos(\theta)\frac{f(x_{0}+lcos(\theta),y_{0}))-f(x_{0},y_{0})}{lcos(\theta)} \\ =<[sin(\theta),cos(\theta)],[f^{'}_{x},f^{'}_{y}]>

当且仅当两个向量同方向时,值为最大。

即下降最快的方向是梯度方向。

2.2 牛顿法

是个啥?

找到即找到令f^{'}(x)=0x_{0}

1)在f^{'}(x)上做切线,逐渐逼近x_{0}

2) 让二阶泰勒展开等同于原曲线,则其极小点为原f(x)极小点。

 

3. 有约束优化

3.1.等式约束

\begin{Bmatrix} min f(x)\\ g(x)=0 \end{Bmatrix}

那么,最优解的点应该同时在g(x),f(x)上,并且其梯度方向应该共线。即

\\f^{'}(x)=\lambda g^{'}(x)\\ g(x) = 0

则,根据以上引入拉格朗日函数:

\iota =f(x)+\lambda g(x)

令其偏导等于0,就得到了KKT条件。这样就将等式约束优化问题转化为无约束优化问题,对KKT条件求解方程组即可。\lambda是拉格朗日乘子,有多少个等式约束,就有多少个\lambda

3.2. 不等式约束

\begin{Bmatrix} min f(x)\\ g(x)\leqslant 0 \end{Bmatrix}

当只有1个不等式约束时,那么可以当作等式约束去做。

有多个不等式约束时,

可行域在不等式约束和f(x)相交的点上。这时:

\\ g_{1}(x^{*})=0 \\ g_{2}(x^{*})=0 \\ \vdots \\ g_{i}(x^{*})\leqslant 0 \\ \vdots \\ g_{n}(x^{*}) \leqslant 0

那么那些值小于等于0的不等式时不起约束作用的。

对于起约束作用的不等式,f(x)在最优解x^{*}上的梯度方向可以用-\bigtriangledown g_{1}(x^{*}),\cdots ,-\bigtriangledown g_{i-1}(x^{*})线性表示,并且系数为正。因为g(x)的梯度方向是向增加那个方向走,那么是朝向g(x)\geq 0的方向,而\bigtriangledown f(x^{*})是朝向g(x)\leqslant 0的方向,因此这里用了g(x)的负梯度方向。

即:

\\\bigtriangledown f(x^{*})=-\mu _{1}\bigtriangledown g_{1}(x^{*})+\cdots +-\mu _{i-1}\bigtriangledown g_{i-1}(x^{*})\\ \mu_{1},\cdots ,\mu_{i-1} >0

那么那些不起约束作用的不等式约束怎么办呢?

令他们的线性表示系数为0啊。

则有:

\\\bigtriangledown f(x^{*})=-\mu _{1}\bigtriangledown g_{1}(x^{*})+\cdots +-\mu _{i-1}\bigtriangledown g_{i-1}(x^{*}) +-\mu _{i}\bigtriangledown g_{i}(x^{*})+\cdots + -\mu _{n}\bigtriangledown g_{n}(x^{*})\\ \mu_{1},\cdots ,\mu_{i-1} >0 \\ \mu_{i},\cdots ,\mu_{n} =0

也可以这么表示:

\\\bigtriangledown f(x^{*})=-\mu _{1}\bigtriangledown g_{1}(x^{*})+\cdots +-\mu _{i-1}\bigtriangledown g_{i-1}(x^{*}) +-\mu _{i}\bigtriangledown g_{i}(x^{*})+\cdots + -\mu _{n}\bigtriangledown g_{n}(x^{*})\\ \mu_{1},\cdots ,\mu_{n} \geq 0 \\ \mu _{1} g_{1}(x^{*})+\cdots +\mu _{i-1} g_{i-1}(x^{*}) +\mu _{i} g_{i}(x^{*})+\cdots + \mu _{n}g_{n}(x^{*}) = 0

即这样就把不等式约束问题转变为无约束优化问题,通过求解方程即可得到最优解。

这里引入拉格朗日函数:

\\ \iota =f\left ( x^{*} \right )+\mu _{1} g_{1}(x^{*})+\cdots +\mu _{i-1} g_{i-1}(x^{*}) +\mu _{i} g_{i}(x^{*})+\cdots + \mu _{n}g_{n}(x^{*})\\ \mu_{1},\cdots ,\mu_{n} \geq 0

对函数求偏导即可得到KKT条件。

如何通俗地讲解对偶问题?尤其是拉格朗日对偶lagrangian duality? - 彭一洋的回答 - 知乎 https://www.zhihu.com/question/58584814/answer/159863739

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
高等数学学霸笔记PDF是一份非常有价值的学习材料。高等数学是大学数学的重要组成部分,为日后学习更为深入的数学课程打下坚实基础。学霸笔记是指在学习过程中,能够领先于其他同学,掌握更全面的知识并且能够提供有效学习方法和技巧。 高等数学学霸笔记PDF的出现,为广大学生提供了一种高效的学习方式。首先,学霸笔记PDF中的内容通常比教材更为全面和深入,涵盖了各个知识点的详细解释和推导,同时还会提供一些别出心裁的例题和思考题,以便读者更好地理解和应用这些知识。其次,学霸笔记PDF中常常会给出一些学习方法和技巧,帮助读者更高效地掌握和运用所学知识。这些方法和技巧经过学霸亲身实践并总结,有助于读者提高学习效率和成绩。 高等数学学霸笔记PDF的优点不止于此。首先,它的便携性非常好,可以在电脑上、平板上或者手机上随时随地进行学习。其次,学霸笔记PDF的内容通常都经过学霸的筛选和整理,是一份经过精心编辑的资料,较教科书更为简明扼要,使得读者在有限的时间内能够快速掌握重点和难点。再者,学霸笔记PDF可以供广大学生交流和分享,有助于促进学习氛围和共同进步。 总之,高等数学学霸笔记PDF是一份宝贵的学习资料,能够帮助学生更好地掌握和应用高等数学知识。在学习过程中,读者可以结合教材和学霸笔记PDF进行学习,以达到更好的学习效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值