模式识别补充
文章平均质量分 90
总是摸鱼的猫
天津大学深度强化学习实验室准研究生
展开
-
807补充(十一)(鞍论与随机逼近理论篇)
我们在测度论的基础上建立概率论的一个主要原因是它能够严格地描述随机序列的收敛性。考虑随机序列XkX1X2XkXkX1X2Xk这个序列中的每个元素都是定义在三元组上的随机变量ΩFPΩFP。Sure convergence:(点收敛)XkXkXXXiflimk→∞XkωXωfor allω∈Ωk→∞limXkωXωfor allω∈Ωlimk→∞Xk。原创 2024-03-15 19:14:36 · 934 阅读 · 0 评论 -
807补充(十)(泛函极值篇)
807补充(十)(泛函极值篇)一.泛函具有某种共同性质的函数构成的集合称为类函数或函数类,记作 FFF 。例如, 在罗杰斯特回归中, 所有的模型都由参数W\boldsymbol WW控制,而参数W\boldsymbol WW就是函数集合所具有的共同性质(虽然每个具体模型的参数不一样)。常见的类函数有:在开区间 (x0,x1)\left(x_0, x_1\right)(x0,x1) 内连续的函数集, 称为在区间 (x0,x1)\left(x_0, x_1\right)(x0,x1) 上的连续函原创 2024-01-18 15:20:19 · 488 阅读 · 1 评论 -
807补充(九)(非光滑函数极值)
现在考虑非平滑凸目标函数的最小化minx∈Rnfx, 其中f为凸函数, 但是非平滑函数, 不可微分。非平滑目标函数的常见例子如∥x∥1∥x∥∞∥Ax−b∥1等。由于非平滑函数fx在x的梯度向量不存在, 所以基于梯度算法不适用。一个自然的问题是: 非平滑函数是否存在类似于梯度向量的某种 “广义梯度”?原创 2024-01-15 20:07:21 · 1123 阅读 · 0 评论 -
807补充(八)(多元函数极值篇)
可微多变量函数fx的极值点考虑以实向量xx1⋯xnT作变元的实值函数fxRn→R的无约束极小化问题x∈Sminfx1.1式中S∈Rn是n维向量空间Rn的一个子集合.定义: 给定一个点x∈Rn, 点x的一 (闭合) 邻域记作Bx;r, 是满足∥x−x∥2⩽r(其中r0) 的所有点x的集合, 即Bx;rx∣∥x−x∥2⩽r令cc1⋯cn。原创 2024-01-14 18:20:03 · 951 阅读 · 1 评论 -
807补充(七)(拉格朗日乘子篇)
⽬前为⽌,我们已经考虑了在形式为gx0的等式限制(equality constraint)下最⼤化函数的问题。我们现在考虑形式为gx≥0的不等式限制(inequality constraint)下最⼤化函数fx的问题,如图所示。根据受限制条件下的驻点是否位于区域gx0中, 有两种可能的解。如果驻点位于gx0的区域中, 我们说限制条件。如果驻点位于gx0的边界上,我们说。在第一种情况下, 函数gx不起作用, 函数在驻点处的条件只是∇fx0。原创 2024-01-13 21:42:00 · 350 阅读 · 1 评论 -
807补充(一)(矩阵微分篇)
注:在本文中不考虑复数矩阵的可能性,仅考虑实矩阵注:如无特殊说明,本文中的向量都是列向量。x=[x1,x2,⋯ ,xn]T\mathbf{x} = [x_1 ,x_2 , \cdots , x_n]^Tx=[x1,x2,⋯,xn]Ta=tr(a)tr(A)=tr(AT)tr(AB)=tr(BA)tr(A−B)=tr(A)−tr(B)tr(A+B)=tr(A)+tr(B)\begin{aligned}&a=\mathrm{tr}(a)\\&\mathrm{tr}(\mathbf{A})=\原创 2023-12-29 23:18:25 · 1328 阅读 · 1 评论 -
807补充(二)(矩阵微分篇)
807补充(二)注:在本文中不考虑复数矩阵的可能性,仅考虑实矩阵符号约定X,A,B\mathbf{X},\mathbf{A},\mathbf{B}X,A,B矩阵F(⋅)\mathbf{F(\cdot)}F(⋅)输出为矩阵的函数x,y,z\mathbf{x},\mathbf{y},\mathbf{z}x,y,z向量f(⋅),g(⋅)\mathbf{f(\cdot)},\mathbf{g(\cdot)}f(⋅),g(⋅)输出为向量的函数x,yx,yx,y标量f(⋅)原创 2024-01-01 00:08:43 · 978 阅读 · 0 评论 -
807补充(三)(矩阵微分篇)
在前两节中,标量函数对一维向量的导数是一个一维的向量,而标量函数对二维矩阵的导数是一个二维的向量,同理按此定义二维矩阵函数对二维矩阵的导数应该是一个四维的张量。但是按此定义在实际中难以操作,不符合工程中的需要,因此我们需要令一种更贴合实际的定义。是正定矩阵时,Hessian矩阵也正定,即这是一个凸函数,只有最小值没有最大值。,由矩阵克罗内克积的性质可知Hessian矩阵负定,即这是一个凹函数。在开始这一节之前,我们首先需要考虑矩阵函数对矩阵的导数。实际上拉伸了矩阵,使其变化为一维向量,再对其进行求导。原创 2024-01-02 12:10:33 · 371 阅读 · 0 评论 -
807补充(四)(高斯积分篇)
可被视为是一种组织梯度向量的方法。在前三篇中,我们给出了梯度的定义与计算公式,借助梯度可以简单得出雅可比矩阵的定义。Dxfdef∇xfT易看出当雅可比矩阵为方阵时fx与x是同维度向量,若雅可比矩阵不为方阵,则从fx到x的映射是降维映射或升维映射。在微分几何中雅可比矩阵可以衡量两个函数之间的变换是否光滑。原创 2024-01-07 18:58:08 · 1015 阅读 · 1 评论 -
807补充(五)(拉格朗日乘子篇)
拉格朗日乘数法(Lagrange multiplier), 有时也被称为不确定乘数法(undetermined multiplier), 被用于寻找多元变量在一个或者多个限制条件下的驻点。考虑寻找函数 f(x1,x2)f\left(x_1, x_2\right)f(x1,x2) 的最大值, 其中 x1x_1x1 和 x2x_2x2 要满足一定的限制, 限制的形式为g(x1,x2)=0(1.1)g\left(x_1, x_2\right)=0\tag{1.1}g(x1,x2)=0(1.1)原创 2024-01-08 22:03:33 · 896 阅读 · 1 评论 -
807补充(六)(拉格朗日乘子篇)
在上一篇中,我们用拉格朗日乘子法求得了以下优化问题的解maxmize tr(WT(Sw+Sb)W)s.t WTSwW=I\begin{aligned}&\text{maxmize} \ \ \ \ \text{tr}(\boldsymbol W^T(\boldsymbol S_w+\boldsymbol S_b)\boldsymbol W)\\&s.t \ \ \ \ \ \ \ \ \ \ \ \ \ \boldsymbol W^T\boldsymbol S_w原创 2024-01-10 18:04:34 · 902 阅读 · 1 评论