向量的2范数求导？

最新推荐文章于 2024-05-13 12:52:03 发布
最新推荐文章于 2024-05-13 12:52:03 发布
阅读量4.1w 收藏 120
点赞数 31
分类专栏： 深度学习基础 深度学习笔记

f(x)=\frac{1}{2} \left| \left| A(x)-b \right| \right|_{2}^{2}  ，  A:\Re ^{m\times n}\rightarrow\Re ^{p} ， 即 A(x)=b，   b\in\Re ^{p} ，  f(x)是求A(x)-b的2范数。

问题：对  f(x)  求一阶导   f^{'} (x). 

 

解答过程如下：

 

原式等于    f(x)= \frac{1}{2} (Ax-b)^T (Ax-b)\Leftrightarrow f(x)=\frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb)

对x求导得：  f'(x)=A^TA x-A^Tb=A^T(Ax-b)

 

这里主要用到的是向量和矩阵的求导公式。分别为

\frac{\partial y^T x}{\partial x}=y       和     \frac{\partial(x^TA x)}{\partial x}=(A+A^T)x

此外还有向量2范数的定义式。

 

Reference：

[1] https://www.zhihu.com/question/31845977

Charles5101
关注
  • 31
    点赞
  • 踩
  • 120
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
矩阵和向量的微分方法
10-30
- **欧氏范数**：向量长度的一种测量方式，对于向量 \(\mathbf{x}\)，其欧氏范数定义为 \(\sqrt{x_1^2 + x_2^2 + ... + x_n^2}\)。 #### 微分规则 **针对标量的微分** 假设 \(\mathbf{F}(t)\) 是一个关于标量 \(t...
常用的范数求导
热门推荐
机器学习的小学生
12-14 7万+
矢量范数的偏导数 L1范数不可微。但是存在次梯度，即是次微分的，这里先不写。 L2 范数： ∂∂x||x−a||2=x−a||x−a||2\begin{equation} \frac{\partial }{\partial \mathbf x }||\mathbf x- \mathbf a||_2 =\frac{\mathbf x -\mathbf a}{||\mathbf x -\mathbf
向量二范数的求导问题
Mr_Lowbee的博客
02-18 1万+
现有目标函数： f(x)=12∥Ax−b∥22 f(x)=\frac{1}{2} \parallel Ax-b \parallel_2^2 f(x)=21​∥Ax−b∥22​ 其中A∈RN×mA\in \mathbb{R}^{N \times m}A∈RN×m,x∈Rmx \in \mathbb{R}^mx∈Rm,b∈Rnb\in \mathbb{R}^nb∈Rn 则求f′(x)f^{'}(x)f...
【什么是范数】L1、L2范数介绍
最新发布
王尼莫的博客
05-13 2086
范数（Norm）是数学中用于衡量向量大小(或距离)的一种概念。在几何和代数中，范数可以提供一个向量长度或大小的量度。更正式地说，范数是一个函数，它将向量的集合映射到非负实数，满足以下性质：在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样当 p=2 时，它是欧几里得范数；
向量范数求导
rosefun96的博客
12-11 1万+
1、问题看了参考资料，不是很懂，一个标量与n*1维向量取导，应该得到1*n维向量，但参考1的例子好像却与这个不符。参考： 1.向量范数求导； 2.矩阵计算_Wikipedia； 3.matrixCookbook
向量的L2范数求导
weixin_30892889的博客
09-14 3930
回归中最为基础的方法, 最小二乘法. \[ \begin{align*} J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\ \end{align*} \] 向量的范数定义 \[ \begin{align*} \vec x &= [x_1,...
线性代数基础（矩阵微分）
weixin_40248634的博客
10-16 1460
矩阵论1. 矩阵行列式、转置、逆具有可交换性;2. 函数对矩阵的导数3. 梯度 1. 矩阵行列式、转置、逆具有可交换性; ∣AT∣=∣A∣T,∣A−1∣=∣A∣−1,(A−1)T=(AT)−1,tr(AT)=tr(A)|A^T|=|A|^T, |A^{-1}|=|A|^{-1},(A^{-1})^T=(A^{T})^{-1},tr(A^T)=tr(A)∣AT∣=∣A∣T,∣A−1∣=∣A∣−1,(A−1)T=(AT)−1,tr(AT)=tr(A) ∣AB∣=∣B∣∣A∣,(AB)T=BTAT,(AB)−1
向量二范数求导
DeniuHe的博客
08-27 5580
整个国内网站上竟然搜不到向量二范式求导公式。 发帖的国内 学者全部都搞混了，把二范数平方求导当做了二范数求导。竟然还被无数转载，悲伤~
l2范数求导_Deep learning：二十七(Sparse coding中关于矩阵的范数求导)
weixin_29149931的博客
12-23 1339
前言：由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数(下面将介绍)约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了(也有可能是因为各个版本书所定义的不同吧)。下面我还...
矩阵求导法则
欢迎来到道的世界
04-06 644
推导形式1 Fs(θ)=∣∣Y−UVX∣∣2(1)\tag{1}F_s(\theta) = ||Y-UVX||^2Fs​(θ)=∣∣Y−UVX∣∣2(1)已知，Fs(θ)F_s(\theta)Fs​(θ)是标量即Fs(θ)∈R1×1F_s(\theta) \in \mathbb{R}^{1 \times 1}Fs​(θ)∈R1×1，Y∈Rm×1Y \in \mathbb{R}^{m \times 1}Y∈Rm×1，U∈Rm×kU \in \mathbb{R}^{m \times k}U∈Rm×k，V∈Rk×
向量的二范数平方求导
羊老羊
03-09 8843
2022.3.9 ∣∣x∣∣2||x||^2∣∣x∣∣2： 规则1：范式是写再下面的，如果是2常常省略。所以∣∣x∣∣2=∣∣x∣∣22||x||^2=||x||^2_2∣∣x∣∣2=∣∣x∣∣22​; 规则2： > 【尝试推导】
【数值优化之范数与导数】
weixin_65089713的博客
06-16 2360
范数相当于是从向量空间到实数域的映射，也就是度量向量与原点之间的距离，但是这里有很多不同的范数，1范数就相当于是曼哈顿距离，2范数相当于欧几里得距离，无穷范数就相当于闵氏距离。...
矩阵求导术（上） - 知乎专栏1
08-03
- **线性回归**：求目标函数关于参数的导数，涉及矩阵乘法和范数的求导。 - **多元逻辑回归**：涉及到softmax函数和向量的log操作，需利用逐元素函数的求导法则。 理解并掌握这些基本概念和规则是进行矩阵求导的...
Lab4 利用SVM实现分类实验_201812261733119561
08-03
在实验中，我们寻找两个与分类平面平行的超平面H1和H2，它们之间的距离定义为2/||w||，这里的||w||表示权重向量w的范数。SVM的目标是最小化这个距离，即最大化间隔。这可以通过最小化||w||来实现。为了确保分类正确...
SVM简单理论推导word版
11-06
点到超平面的距离公式可以表示为d = |Aw1 + Bw2 + ... + Zw| / √(A² + B² + ... + Z²)，其中(w1, w2, ..., wn)是点的坐标，(A, B, C, ..., Z)是超平面的法向量。在SVM中，我们关注的是分类正确的点到超平面的...
每天进步一点点《ML - 支持向量机》.docx
09-24
在SVM中，代价函数是`1/2||w||^2`，这实际上是范数平方的一半，便于求导。同时，为了确保所有样本点到超平面的间隔至少为1，我们有约束条件`y*(w·x+b) ≥ 1`。 通过最小化代价函数`J(θ)`，SVM可以找到一个最优的...
l2范数求导_向量的L2范数求导
weixin_31856441的博客
12-23 2232
回归中最为基础的方法, 最小二乘法.\[\begin{align*}J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\\end{align*}\]向量的范数定义\[\begin{align*}\vec x &= [x_1,\cdots,x_...
矩阵，向量二范数求导
JGL121314的博客
10-04 3230
向量的2范数求导？_Charles5101的博客-CSDN博客_二范数求导
论文中常用的一些矩阵求导公式和二阶范数公式
小白的博客
08-11 1万+
1 二阶范数 ||A||2=tr(AAT) ||A||^2 = tr(AA^T) \quad\quad\quad\quad\quad\quad\quad\quad 2 矩阵求导基本公式（等式两边同时去除tr，公式不变）：∂tr(AX)∂X=AT \frac{\partial tr(AX)}{\partial X} = A^T \quad\quad\quad\quad\quad\qua
梯度下降法和2范数求导
08-25
梯度下降法是一种用于优化目标函数的迭代算法。它通过计算目标函数对于参数的梯度，并按照负梯度方向进行参数更新，从而逐步接近目标函数的最小值。 在梯度下降法中，我们需要计算目标函数对于参数的导数。对于2范数（也称为欧几里得范数），它表示向量中各个元素的平方和的平方根。 如果我们有一个向量x = [x1, x2, ..., xn]，那么它的2范数可以表示为 ||x||2 = sqrt(x1^2 + x2^2 + ... + xn^2)。 现在，我们要求2范数关于向量x的导数。首先，我们可以将2范数展开为各个元素的平方和的平方根形式： ||x||2 = sqrt(x1^2 + x2^2 + ... + xn^2) = (x1^2 + x2^2 + ... + xn^2)^(1/2) 然后，我们可以使用链式法则来求解导数。设y = (x1^2 + x2^2 + ... + xn^2)，则有： dy/dx1 = 2*x1 dy/dx2 = 2*x2 ... dy/dxn = 2*xn 综合起来，我们得到了2范数关于向量x的导数： d||x||2/dx = [dy/dx1, dy/dx2, ..., dy/dxn] = [2*x1, 2*x2, ..., 2*xn] 这个导数表示了在给定向量x的情况下，2范数关于每个元素的变化率。在梯度下降法中，我们可以使用这个导数来更新参数，以便逐步接近最小值点。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值