Hadamard Product求导案例

1 问题

给定 $\mathbf{x}\in {\mathbb{R}}^{n\times 1}$，$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，$\mathbf{f}(\mathbf{x})=\sqrt{(\mathbf{A}\mathbf{x})\odot (\mathbf{A}\mathbf{x})}$。 其中$\sqrt{(\cdot )}$表示Hadamard root (elements-wise square root)，即矩阵元素逐项平方根。求$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}$。

---

2 求解

2.1 先用Hadamard product解平方根

令: $\mathbf{b}=\mathbf{A}\mathbf{x}$，有：$d\mathbf{b}=d(\mathbf{A}\mathbf{x})=\mathbf{A}d\mathbf{x}$

2.2 矩阵对矩阵求导一般先将矩阵矢量化

$$\begin{array}{rl}\mathbf{f}\odot \mathbf{f}& =(\mathbf{A}\mathbf{x})\odot (\mathbf{A}\mathbf{x})\\ & =\mathbf{b}\odot \mathbf{b}\end{array}$$

根据微分哈达马乘积性质： $d(\mathbf{x}\odot \mathbf{Y})=\mathbf{x}\odot d\mathbf{Y}+d\mathbf{x}\odot \mathbf{Y}$
有：
$$\begin{array}{rl}d(\mathbf{f}\odot \mathbf{f})& =\mathbf{f}\odot d\mathbf{f}+d\mathbf{f}\odot \mathbf{f}\\ & =\mathbf{f}\odot d\mathbf{f}+\mathbf{f}\odot d\mathbf{f}\\ & =2\mathbf{f}\odot d\mathbf{f}\\ \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{d}\mathbf{f}\right)& =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{b}\right)\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{d}\mathbf{b}\right)(性质：\mathrm{vec}(\mathbf{A}\odot \mathbf{X})=\mathrm{diag}(\mathbf{A})\mathrm{vec}(\mathbf{X}))\end{array}$$
其中$\mathrm{diag}(\mathbf{f})$ 是 $n\times n$ 的对角矩阵，对角线上的元素是矩阵 $\mathbf{f}$ 按列向量化后排列出来的；$\mathrm{diag}(\mathbf{b})$同理。

$$\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{d}\mathbf{f}\right)={\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)}^{-1}\mathrm{diag}(\mathbf{b})\mathrm{vec}(d\mathbf{b})$$

$$\mathbf{b}\in {\mathbb{R}}^{n\times 1}⟹\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{d}\mathbf{b}\right)=d\mathbf{b}$$

$$\therefore \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)d\mathbf{f}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathrm{b}\right)\mathbf{A}d\mathbf{x}$$

$$\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{d}\mathbf{f}\right)={\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)}^{-1}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{b}\right)\mathbf{A}d\mathbf{x}$$

矩阵对矩阵求导如果采用分母布局，有：
$$\mathrm{vec}(d\mathbf{f})={\left(\frac{\partial \mathbf{f}}{\partial \mathbf{x}}\right)}^T\mathrm{vec}(d\mathbf{x})$$
如果是采用分子布局，有：
$$\mathrm{vec}(d\mathbf{f})=\left(\frac{\partial \mathbf{f}}{\partial \mathbf{x}}\right)\mathrm{vec}(d\mathbf{x})$$

所以，对于此问题，如果采用分母布局：
$$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}={\left({\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)}^{-1}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{b}\right)\mathbf{A}\right)}^T$$
如果采用分子布局：
$$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}={\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{f}\right)}^{-1}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathbf{b}\right)\mathbf{A}$$