《神经网络与深度学习》习题解答（至第七章）

部分题目的个人解答，参考了github上的习题解答分享与知乎解答。题目是自己做的，部分解答可能出错，有问题的解题部分欢迎指正。原文挂在自己的自建博客上。

第二章

2-1

直观上，对特定的分类问题，平方差的损失有上限(所有标签都错，损失值是一个有效值)，但交叉熵则可以用整个非负域来反映优化程度的程度。

从本质上看，平方差的意义和交叉熵的意义不一样。概率理解上，平方损失函数意味着模型的输出是以预测值为均值的高斯分布，损失函数是在这个预测分布下真实值的似然度，softmax损失意味着真实标签的似然度。

分类问题中的标签，是没有连续的概念的。1-hot作为标签的一种表达方式，每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。

大部分分类问题并非服从高斯分布

根据吴恩达机器学习视频：$J(\theta )=\frac{1}{m}{\sum }_{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$，h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很难求出全局最小值的，稍不留神就是局部最小值。

交叉熵的公式为：$Cost(h_{\theta }(x),y)=-y\cdot log(h_{\theta }(x))+(y-1)\cdot log(1-h_{\theta }(x))$

使用交叉熵的时候就变成：

2-2

最优参数

令$[{\overline{r}}^{(n)}{]}^2=r^{(n)}$，则：
$$\begin{array}{rl}R(w)& =\frac{1}{2}\sum _{n=1}^N[{\overline{r}}^{(n)}{]}^2(y^{(n)}-w^{\top }{x}^{(n)}{)}^2\\ & =\frac{1}{2}\sum _{n=1}^N(\overline{(}r{)}^{(n)}(y^{(n)}-w^{\top }{x}^{(n)}){)}^2\\ & =\frac{1}{2}||{\overline{r}}^{\top }(y-\overline{X}w)|{|}^2\end{array}$$
损失函数对参数$w$求导：
$$\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =\frac{\frac{1}{2}||{\overline{r}}^{\top }(y-\overline{X}w)|{|}^2}{\partial w}\\ & =-X\overline{r}{\overline{r}}^{\top }(y-X^{\top }w)\\ & =0\end{array}$$
于是有：$w^{\ast }=(X\overline{r}{\overline{r}}^{\top }{X}^{\top }{)}^{-1}X\overline{r}{\overline{r}}^{\top }y$

参数$r^{(n)}$

这个参数是为了对不同的数据进行加权，相当于不同数据对结果的影响程度会不同，如果某个数据比较重要，希望对其高度重视，那么就可以设置相对较大的权重，反之则设置小一点。

2-3

已知定理：$A、B$分别为$n\times m,m\times s$的矩阵，则 r a n k ( A B ) ≤ m i n { r a n k ( A ) , r a n k ( B ) } rank(AB)\leq min\{rank(A),rank(B)\} rank(AB)≤min{rank(A),rank(B)}

$X\in {\mathbb{R}}^{(d+1)\times N}，X^T\in {\mathbb{R}}^{N\times (d+1)}$

$rank(X)=rank(X^{\top })=min((d+1),N),N<d+1$，因此$rank(X)=N$

$rank(X{X}^{\top })\le N,N=N$

2-4

$R(w)=\frac{1}{2}||y-X^{\top }w|{|}^2+\frac{1}{2}\lambda ||w|{|}^2$，$w^{\ast }=(X{X}^{\top }+\lambda I{)}^{-1}Xy$

可得：
$$\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =\frac{1}{2}\frac{\partial ||y-X^{\top }w|{|}^2+\lambda ||w|{|}^2}{\partial w}\\ & =-X(y-X^{\top }w)+\lambda w\\ & =0\end{array}$$
因此有：
$$\begin{gathered} -XY+X{X}^{\top }w+\lambda w=0 \\ (X{X}^{\top }+\lambda I)w=XY \\ {w}^{\ast }=(X{X}^{\top }+\lambda I{)}^{-1}Xy \end{gathered}$$

2-5

根据题意，有：$\log p(y|X;w,\sigma )={\sum }_{n=1}^N\log N(y^{(n)}{w}^{\top }{x}^{(n)},{\sigma }^2)$

令$\frac{\partial \log p(y|X;w,\sigma )}{\partial w}=0$，因此有：
$$\begin{gathered} \frac{\partial ({\sum }_{n=1}^N-\frac{(y^{(n)}-w^{\top }{x}^{(n)}{)}^2}{2\beta })}{\partial w}=0 \\ \frac{\partial \frac{1}{2}||y-X^{\top }w|{|}^2}{\partial w}=0 \\ -X(y-X^{\top }w)=0 \end{gathered}$$
因此有：$w^{ML}=(X{X}^{\top }{)}^{-1}Xy$

2-6

样本均值

参数$\mu$在样本上的似然函数为：$p(x|\mu ,{\sigma }^2)={\sum }_{n=1}^N(x^{(n)};\mu ,{\sigma }^2)$

对数似然函数为：$\log p(x;\mu ,{\sigma }^2)={\sum }_{n=1}^N\log p(x^{(n)};\mu ,{\sigma }^2)={\sum }_{n=1}^N(\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{(x^{(n)}-\mu {)}^2}{2{\sigma }^2})$

我们的目标是找到参数$\mu$的一个估计使得似然函数最大，等价于对数自然函数最大。

令$\frac{\partial \log p(x;\mu ,{\sigma }^2)}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{n=1}^N(x^{(n)}-\mu )=0$，得到：${\mu }^{ML}=\frac{1}{N}{\sum }_{n=1}^N{x}^{(n)}$，即样本均值

MAP证明

参数$\mu$的后验分布：$p(\mu |x;{\mu }_0,{\sigma }_0^2)\propto p(x|\mu ;{\sigma }^2)p(\mu ;{\mu }_0,{\sigma }_0^2)$

令似然函数$p(x|\mu ;{\sigma }^2)$为高斯密度函数，后验分布的对数为：
$$\begin{array}{rl}\log p(\mu |x;{\mu }_0,{\sigma }_0^2)& \propto \log p(x|\mu ;{\sigma }^2)+\log p(\mu ;{\mu }_0,{\sigma }^2)\\ & \propto -\frac{1}{{\sigma }^2}\sum _{n=1}^N(x^{(n)}-\mu {)}^2-\frac{1}{{\sigma }^2}(\mu -{\mu }_0{)}^2\end{array}$$
令$\frac{\partial \log p(\mu |x;{\mu }_0,{\sigma }_0^2)}{\partial \mu }=0$，得到：${\mu }^{MAP}=(\frac{1}{{\sigma }^2}{\sum }_{n=1}^N{x}^{(n)}+\frac{{\mu }_0}{{\sigma }_0^2})/(\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2})$

证明完毕

2-7

$\sigma \to \infty$，${\mu }^{MAP}=\frac{1}{N}{\sum }_{n=1}^N{x}^{(n)}$

2-8

因为$f$可测量，故$\sigma$可测量，又$f$有界，有：${\mathbb{E}}_y[f^2(x)|x]=f^2(x),{\mathbb{E}}_y[yf(x)|x]=f(x)\cdot {\mathbb{E}}_y(y|x)$

$R(f)={\mathbb{E}}_x[{\mathbb{E}}_y[(y-f(x){)}^2|x]]={\mathbb{E}}_x[{\mathbb{E}}_y[y^2|x]+{\mathbb{E}}_y[f^2(x)|x]-2{\mathbb{E}}_y[yf(x)|x]]$

$R(f)={\mathbb{E}}_x[{\mathbb{E}}_y[y^2|x]+f^2(x)-2f(x){\mathbb{E}}_y[y|x]]$

由Jensen不等式：${\mathbb{E}}_y[y^2|x]\ge {\mathbb{E}}_y[y|x{]}^2$

故：$R(f)\ge {\mathbb{E}}_x[{\mathbb{E}}_y[f(x)-{\mathbb{E}}_y[y|x]]{]}^2$

故：$f^{\ast }(x)={\mathbb{E}}_{y\sim p_r(y|x)}[y]$

2-9

高偏差原因：数据特征过少；模型复杂度太低；正则化系数$\lambda$太大；

高方差原因：数据样例过少；模型复杂度过高；正则化系数$\lambda$太小；没有使用交叉验证

2-10

对于单个样本$E_D$，$f^{\ast }(x)$是常数，因此：$E_D[f^{\ast }(x)]=f^{\ast }(x)$

$$\begin{array}{rl}{E}_D[(f_D(x)-f^{\ast }(x){)}^2]& =E_D[(f_D(x)-E_D[f_D(x)]+E_D[f_D(x)]-f\ast (x){)}^2]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+E_D[E_D[f_D(x){]}^2+(f^{\ast }(x){)}^2-2E_D[f_D(x)]f^{\ast }(x)]+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+E_D[f_D(x){]}^2+(f^{\ast }(x){)}^2-2E_D[f_D(x)+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2(E_D[f_D(x)]{)}^2-2E_D[f_D(x)f^{\ast }(x)]-2(E_D[f_D(x)]{)}^2+2E_D[f_D(x)f^{\ast }(x)]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2\end{array}$$

2-11

2-12

用笔算一下就OK，9

第三章

3-1

设任意$\alpha$为超平面上的向量，取两点${\alpha }_1,{\alpha }_2\in a$，则满足：
$$\{\begin{array}{l}{\omega }^{\top }{\alpha }_1+b=0\\ \\ {\omega }^{\top }{\alpha }_2+b=0\\ \end{array}$$
两式相减，得到：${\omega }^T({\alpha }_1-{\alpha }_2)=0$，由${\alpha }_1-{\alpha }_2$平行于$a$，故$\omega \perp \alpha$，即$\omega$垂直于决策边界。

3-2

设$x$投影到平面$f(x,\omega )={\omega }^{\top }x+b=0$的点为$x^{\prime }$，则：可知$x-x^{\prime }$垂直于$f(x,\omega )$，由3-1有$x-x^{\prime }$平行于$\omega$

于是有：$\delta =||x-x^{\prime }||=k||\omega ||$，又：
$$\{\begin{array}{l}f(x,\omega )={\omega }^{\top }x+b\\ \\ {\omega }^{\top }{x}_2+b=0\end{array}$$
故有：$w^T(x-x^{\prime })=f(x,\omega )$，带入$x-x^{\prime }=k\omega$有：$k||\omega |{|}^2=f(x,\omega )$

故：$\delta =\frac{|f(x,\omega )|}{||\omega ||}$

3-3

由多线性可分定义

可知：${\omega }_c{x}_1>{\omega }_{\tilde{c}}{x}_1$，${\omega }_c{x}_2>{\omega }_{\tilde{c}}{x}_2$，又$\rho \in [0,1]$，故：$\rho >0,1-\rho >0$

线性组合即有：$\rho {\omega }_c{x}_1+(1-\rho ){\omega }_c{x}_2>\rho {\omega }_{\tilde{a}}{x}_1+(1-\rho ){\omega }_{\tilde{c}}{x}_2$

3-4

对于每个类别$c$，他们的分类函数为 f c ( x ; ω c ) = ω c T x + b c ， c ∈ { 1 , ⋯   , C } f_c(x;\omega_c)=\omega^T_cx+b_c，c\in \{1,\cdots,C\} fc​(x;ωc​)=ωcT​x+bc​，c∈{1,⋯,C}

因为每个类都与除它本身以外的类线性可分，所以：${\omega }_c^{\top }{x}^{(n)}>{\omega }_{\tilde{c}}^{\top }{x}^{(n)}$

因此有：${\sum }_{n=1}^N({\omega }_c^{\top }{x}^{(n)}-{\omega }_{\tilde{c}}^{\top }{x}^{(n)})>0$，即：$X^T{\omega }_c-X^T{\omega }_{\tilde{c}}>0$，故整个数据集线性可分。

3-5

从理论上来说，平方损失函数也可以用于分类问题，但不适合。首先，最小化平方损失函数本质上等同于在误差服从高斯分布的假设下的极大似然估计，然而大部分分类问题的误差并不服从高斯分布。而且在实际应用中，交叉熵在和Softmax激活函数的配合下，能够使得损失值越大导数越大，损失值越小导数越小，这就能加快学习速率。然而若使用平方损失函数，则损失越大导数反而越小，学习速率很慢。

Logistic回归的平方损失函数是非凸的：$L=\frac{1}{2}{\sum }_t(\hat{y}-y{)}^2$，$\hat{y}=\sigma ({\omega }^{T}x)$

$\frac{\partial L}{\partial \omega }={\sum }_t(\hat{y}-y_i)\frac{\partial \hat{y}}{\partial \omega }={\sum }_i(\hat{y}-y_i)\hat{y}(1-\hat{y})x_i={\sum }_i(-{\hat{y}}^3+(y_i+1){\hat{y}}^2-y_i\hat{y})x_i$

进一步地： $\frac{{\partial }^{2}L}{\partial {\omega }^2}=\sum (-3{\hat{y}}^2+2(y_i+1)\hat{y}-y_i)\frac{\partial \hat{y}}{\partial \omega }{x}_i=\sum [-3{\hat{y}}^2+2(y_i+1)\hat{y}-y_i]\hat{y}(1-\hat{y})x_i^2$

又$\hat{y}\in [0,1]，y\in 0,1$，二阶导数不一定大于零。

3-6

不加入正则化项限制权重向量的大小，可能造成权重向量过大，产生上溢。

3-7

原式中：$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K{c}_k{\omega }_k$，又$c_k=t_{k+1}-t_k$

即：$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K(t_{k+1}-t_k){\omega }_k$，即只需要证明算法和该式等价。

根据算法第8、9行有：${\omega }_k=y^{(n)}{x}^{(n)}$，故原算法中：$\overline{\omega }={\omega }_T-\frac{1}{T}u={\sum }_{k=1}^K{\omega }_k-\frac{1}{T}u$

又有：$u={\sum }_{k=1}^K{t}_k{\omega }_k$

故算法3.2能得到：$\overline{\omega }={\sum }_{k=1}^K(1-\frac{1}{T}{t}_k{\omega }_k)$，由算法第12行可知：$t_{k+1}=T$并带入可得到：

$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K(T-t_k){\omega }_k=\frac{1}{T}{\sum }_{k=1}^K(t_{k+1}-t_k){\omega }_k$，证毕。

3-8

${\omega }_k={\omega }_{k-1}+\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)$

因此可知：$||{\omega }_K|{|}^2=||{\omega }_{K-1}+\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)|{|}^2$

即$||{\omega }_K|{|}^2=||{\omega }_{K-1}|{|}^2+||\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)|{|}^2+2{\omega }_{K-1}\cdot (\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)},z))$

因为$z$为${\omega }_{K-1}$的最倾向的候选项，因此$2{\omega }_{K-1}\cdot (\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)},z))$将小于0。

故：$||{\omega }_K|{|}^2\le ||{\omega }_{K-1}|{|}^2+R^2$

迭代到最后有：$||{\omega }_K|{|}^2\le K{R}^2$，找到了上界。

再寻找下界：$||{\omega }_K|{|}^2=||{\omega }^{\ast }|{|}^2\cdot ||{\omega }_K|{|}^2\ge ||{\omega }^{\ast \top }{\omega }_K|{|}^2$

带入${\omega }_K$有：$||{\omega }_K|{|}^2\ge ||{\omega }^{\ast \top }{\sum }_{k=1}^K(\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)}.z))||$

即：$||{\omega }_K|{|}^2\ge [{\sum }_{k=1}^K⟨{\omega }^{\ast },(\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)}.z))⟩{]}^2$

根据广义线性可分有：$⟨{\omega }^{\ast }，\varphi (x^{(k)},y^{(k)})⟩-⟨{\omega }^{\ast },\varphi (x^{(k)},z)⟩\ge \gamma$

因此：$||{\omega }_K|{|}^2\ge K^2{\gamma }^2$

因此结合起来就得到了：$K^2{\gamma }^2\le K{R}^2$，即$K\le \frac{R^2}{{\gamma }^2}$，证毕

3-9

存在性证明：

因为数据集线性可分，因此该最优化问题存在可行解，又根据线性可分的定义可知目标函数一定有下界，所以最优化问题一定有解，记作：$({\omega }^{\ast },b^{\ast })$

因为 y ∈ { 1 , − 1 } y\in \{1,-1\} y∈{1,−1}，因此$({\omega }^{\ast },b^{\ast })\ne (0,b^{\ast })$，即${\omega }^{\ast }\ne \mathbb{O}$，故分离的超平面一定存在。

唯一性证明（反证法）：

假定存在两个最优的超平面分别为${\omega }_1^{\ast }x+b=0$和${\omega }_2^{\ast }x+b=0$

因为为最优，故有：$||{\omega }_1^{\ast }||=||{\omega }_2^{\ast }||=C$，其中C为一个常数。

于是令：$\omega =\frac{{\omega }_1^{\ast }+{\omega }_2^{\ast }}{2}$，$b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$，可知该解也为可行解。

于是有：$C\le ||\omega ||$，又根据范数的三角不等式性质：$\Vert |\omega ||\le \frac{||{\omega }_1^{\ast }||}{2}+\frac{||{\omega }_2^{\ast }||}{2}=C$

因此：$2||\omega ||=||{\omega }_1^{\ast }||+||{\omega }_2^{\ast }||$

又根据不等式取等号的条件可以得到：${\omega }_1^{\ast }=\lambda {\omega }_2^{\ast }$

代入可知：$\lambda =1$ （-1的解舍去，会导致$\omega =0$）

因此不存在两个超平面最优，故该超平面惟一。

证毕

3-10

$\varphi (x)=[1,\sqrt{2}{x}_1,\sqrt{2}{x}_2,\sqrt{2}{x}_1{x}_2,x_1^2,x_2^2{]}^{\top }$，$\varphi (z)=[1,\sqrt{2}{z}_1,\sqrt{2}{z}_2,\sqrt{2}{z}_1{z}_2,z_1^2,z_2^2{]}^{\top }$

故：$\varphi (x{)}^{\top }\varphi (z)=1+2x_1{z}_1+2x_2{z}_2+2x_1{x}_2{z}_1{z}_2+x_1^2{z}_1^2+x_2^2{z}_2^2=(1+（x_1{x}_2)(z_1{z}_2{)}^{\top }{)}^2$

即：$\varphi (x{)}^{\top }\varphi (z)=(1+x^{\top }z{)}^2=k(x,z)$，证毕

3-11

原问题：
m i n 1 2 ∣ ∣ w ∣ ∣ 2 + C ∑ n = 1 N ξ n s . t . 1 − y n ( w ⊤ x n + b ) − ξ n ≤ 0 , ∀ n ∈ { 1 , ⋯   , N } ξ n ≥ 0 , ∀ n ∈ { 1 , ⋯   , N } \begin{array}{c} min\frac{1}{2}||w||^2+C\sum^N_{n=1}\xi_n \\\\ s.t. 1-y_n(w^\top x_n+b)-\xi_n\leq 0,\forall n\in\{1,\cdots,N\} \\\\ \xi_n\geq0,\forall n\in\{1,\cdots,N\} \end{array} min21​∣∣w∣∣2+C∑n=1N​ξn​s.t.1−yn​(w⊤xn​+b)−ξn​≤0,∀n∈{1,⋯,N}ξn​≥0,∀n∈{1,⋯,N}​
使用拉格朗日乘子法，可得：
$$L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i(1-y_i(w^{\top }{x}_i+b)-{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
将其转化为最小最大问题：
min ⁡ w , b , ξ   max ⁡ λ , μ   L ( w , b , ξ , λ , μ ) s . t . λ i ≥ 0 , ∀ n ∈ { 1 , ⋯   , N } \begin{array}{c} \min\limits_{w,b,\xi} \ \max\limits_{\lambda,\mu} \ L(w,b,\xi,\lambda,\mu) \\\\ s. t. \lambda_i\geq0,\forall n\in\{1,\cdots,N\} \end{array} w,b,ξmin​ λ,μmax​ L(w,b,ξ,λ,μ)s.t.λi​≥0,∀n∈{1,⋯,N}​
转化为对偶问题：
max ⁡ λ , μ   min ⁡ w , b , ξ   L ( w , b , ξ , λ , μ ) s . t . λ i ≥ 0 , ∀ n ∈ { 1 , ⋯   , N } \begin{array}{c} \max\limits_{\lambda,\mu} \ \min\limits_{w,b,\xi} \ L(w,b,\xi,\lambda,\mu) \\\\ s. t. \lambda_i\geq0,\forall n\in\{1,\cdots,N\} \end{array} λ,μmax​ w,b,ξmin​ L(w,b,ξ,λ,μ)s.t.λi​≥0,∀n∈{1,⋯,N}​
求解$\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )$如下：

令$\frac{\partial L}{\partial b}=0$，得到$\sum _{i=1}^N{\lambda }_i{y}_i=0$，带入$L$中，有：

$L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^{\top }{x}_i-\sum _{i=1}^N{\lambda }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i$

令$\frac{\partial L}{\partial w}=0$，可得：$w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0$，因此：$w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$

带入$L$得到：
$$\begin{array}{rl}L(w,b,\xi ,\lambda ,\mu )& =\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j-\sum _{i=1}^N{\lambda }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i\\ & \\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N(C-{\lambda }_i-{\mu }_i){\xi }_i+\sum _{i=1}^N{\lambda }_i\end{array}$$
令$\frac{\partial L}{\partial {\xi }_i}=0$，可得$C-{\lambda }_i-{\mu }_i=0$

带入$L$再次有：$L(w,b,\xi ,\lambda ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N{\lambda }_i$

因此对偶问题可以为：
max ⁡ λ − 1 2 ∑ i = 1 N ∑ j = 1 N λ i λ j y i y j x i ⊤ x j + ∑ i = 1 N λ i s . t . ∑ i = 1 N λ i y i = 0 , ∀ i ∈ { 1 , ⋯   , N } C − λ i − μ i = 0 , ∀ i ∈ { 1 , ⋯   , N } λ i ≥ 0 , ∀ i ∈ { 1 , ⋯   , N } μ i ≥ 0 , ∀ i ∈ { 1 , ⋯   , N } \begin{array}{c} \max\limits_{\lambda}-\frac{1}{2}\sum^N\limits_{i=1}\sum^N\limits_{j=1}\lambda_i\lambda_jy_iy_jx^\top_ix_j+\sum^N\limits_{i=1}\lambda_i \\ s. t. \sum^N\limits_{i=1}\lambda_iy_i=0,\forall i\in\{1,\cdots,N\} \\ C-\lambda_i-\mu_i=0,\forall i\in\{1,\cdots,N\} \\ \lambda_i\geq 0,\forall i \in\{1,\cdots,N\} \\ \mu_i\geq 0,\forall i \in\{1,\cdots,N\} \end{array} λmax​−21​i=1∑N​j=1∑N​λi​λj​yi​yj​xi⊤​xj​+i=1∑N​λi​s.t.i=1∑N​λi​yi​=0,∀i∈{1,⋯,N}C−λi​−μi​=0,∀i∈{1,⋯,N}λi​≥0,∀i∈{1,⋯,N}μi​≥0,∀i∈{1,⋯,N}​
化简得到：
max ⁡ λ − 1 2 ∑ i = 1 N ∑ j = 1 N λ i λ j y i y j x i ⊤ x j + ∑ i = 1 N λ i s . t . ∑ i = 1 N λ i y i = 0 , ∀ i ∈ { 1 , ⋯   , N } 0 ≤ λ i ≤ C , ∀ i ∈ { 1 , ⋯   , N } \begin{array}{c} \max\limits_{\lambda}-\frac{1}{2}\sum^N\limits_{i=1}\sum^N\limits_{j=1}\lambda_i\lambda_jy_iy_jx^\top_ix_j+\sum^N\limits_{i=1}\lambda_i \\ s. t. \sum^N\limits_{i=1}\lambda_iy_i=0,\forall i\in\{1,\cdots,N\} \\ 0\leq \lambda_i \leq C,\forall i\in\{1,\cdots,N\} \end{array} λmax​−21​i=1∑N​j=1∑N​λi​λj​yi​yj​xi⊤​xj​+i=1∑N​λi​s.t.i=1∑N​λi​yi​=0,∀i∈{1,⋯,N}0≤λi​≤C,∀i∈{1,⋯,N}​
因此其KKT条件如下：
$$\{\begin{array}{l}{\nabla }_{w}L=w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ {\nabla }_{b}L=-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ {\nabla }_{\xi }L=C-\lambda -\mu =0\\ {\lambda }_i(1-y_n(w^{\top }{x}_n+b)-{\xi }_i)=0\\ 1-y_n(w^{\top }{x}_n+b)-{\xi }_n\le 0\\ {\xi }_i\ge 0\\ {\lambda }_i\ge 0\\ {\mu }_i\ge 0\end{array}$$

第四章

4-1

零均值化的输入，使得神经元在0附近，sigmoid函数在零点处的导数最大，所有收敛速度最快。非零中心化的输入将导致$\omega$的梯度全大于0或全小于0，使权重更新发生抖动，影响梯度下降的速度。形象一点而言，就是零中心化的输入就如同走较为直的路，而非零时七拐八拐才到终点。

4-2

题目要求有两个隐藏神经元和一个输出神经元，那么网络应该有$W^{(1)}$和$w^{(2)}$两个权重，取：
$$\begin{gathered} W^{(1)}=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right],b^{(1)}=\left[\begin{array}{c}0\\ 1\end{array}\right] \\ {w}^{(2)}=\left[\begin{array}{c}1\\ -2\end{array}\right],b^{(2)}=0 \end{gathered}$$
带入得到：
$$X=\left[\begin{array}{cccc}0& 0& 1& 1\\ 0& 1& 0& 1\end{array}\right]$$
神经元的输入与输出：

$x_1$	$x_2$	$y$
0	0	0
1	0	1
0	1	1
1	1	0

实验代码（需要tensorflow2.3）：

import numpy as np
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
#input and output
X=np.array([[0,0],[0,1],[1,0],[1,1]])
Y=np.array([[0],[1],[1],[0]])
x=tf.placeholder(dtype=tf.float32,shape=[None,2])
y=tf.placeholder(dtype=tf.float32,shape=[None,1])
#weight
w1=tf.Variable(tf.random_normal([2,2]))
w2=tf.Variable(tf.random_normal([2,1]))
#bias
b1=tf.Variable([0.1,0.1])
b2=tf.Variable(0.1)
#relu activation function
h=tf.nn.relu(tf.matmul(x,w1)+b1)
output=tf.matmul(h,w2)+b2
#loss and Adam optimizer
loss=tf.reduce_mean(tf.square(output-y))
train=tf.train.AdamOptimizer(0.05).minimize(loss)

with tf.Session() as session:
    session.run(tf.global_variables_initializer())
    
    for i in range(2000):
        session.run(train,feed_dict={x:X,y:Y})
        loss_=session.run(loss,feed_dict={x:X,y:Y})
        if i%50 == 0:
            print("step:%d,loss:%.3f"%(i,loss_))
            
    print("X:%r"%X)
    print("Pred:%r"%session.run(output,feed_dict={x:X}))

4-3

二分类的例子

二分类交叉熵损失函数为：$L(y,\hat{y})=-(y\log \hat{y}+(1-y)\log (1-\hat{y}))$

不同取值损失函数如表所示：

$y$	$\hat{y}$	$L(y,\hat{y})$
0	0	0
1	0	$+\infty$
0	1	$-\infty$
1	1	0

如果我们要损失函数尽可能小的时候，$y$为1的时候$\hat{y}$尽可能要大，$y$为0的时候$\hat{y}$尽可能要小。而在后一种情况下需要$\omega$尽可能小，因此如果更新过多，会导致样本的所有输出全部为负数，因而梯度会为0，造成权重无法更新，因而成死亡结点。

解决方法

使用Leaky ReLU、PReLU、ELU或者SoftPlus函数当作激活函数。

ReLU死亡问题数学推导

向前传播公式：$\{\begin{array}{l}z=\omega \cdot x\\ a=ReLU(z)\end{array}$

损失函数为$L$，反向传播公式为：$\{\begin{array}{l}\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}\\ \\ \frac{\partial L}{\partial W}=\frac{\partial L}{\partial z}\cdot x^{\top }\\ \\ \frac{\partial L}{\partial x}={\omega }^{\top }\cdot \frac{\partial L}{\partial z}\end{array}$

对固定的学习率$lr$，梯度$\frac{\partial L}{\partial W}$越大，权重$W$更新也就越快，梯度更新公式：$W=W+lr\cdot \frac{\partial L}{\partial W}$

如果梯度太大，而学习率又不小心设置得太大，就会导致权重一下子更新过多。

而我们又想使得损失函数最小，就有可能出现这种情况：对于任意训练样本 $x_i$ ，网络的输出都是小于0的，用数学描述为：$z_i=W\cdot x_i<0,\forall x_i\in D_{train}$

此时： a i = m a x { z i , 0 } = 0 a_i=max\{z_i,0\}=0 ai​=max{zi​,0}=0，即与该神经元相连的参数都得不到更新，神经元进入“休眠”状态。

4-4

$$\begin{gathered} Swish求导：\frac{dx\sigma (\beta x)}{dx}=\sigma (\beta x)+x\sigma (\beta x)(1-\sigma (\beta x))\beta =\frac{1+(\beta x+1)\cdot exp(-\beta x)}{(1+\exp (-\beta x){)}^2} \\ GELU求导：\frac{dGELU(x)}{dx}=P(X\le x)+\frac{xdP(X\le x)}{dx}=\Phi (x)+\frac{x\cdot \exp (\frac{-x^2}{2})}{\sqrt{2\pi }} \end{gathered}$$

4-5

输入层到隐藏层：输入的样本数量为$m^{(0)}\cdot \frac{N}{L}$，偏置数量为$1$

$L$层隐藏层之间：神经元需要的参数为$(L-1)\cdot (\frac{N}{L}{)}^2$，偏置数量为$N-1$

隐藏层到输出层：输出需要的参数为$\frac{N}{L}$，偏置数量为$1$

一共为：$N+1+(L-1)(\frac{N}{L}{)}^2+\frac{M_{0}N}{L}+\frac{N}{L}$

4-6

通用近似定理对于具有线性输出层和至少一个使用 ReLU 激活函数的隐藏层组成的前馈神经网络，也都是适用的。

时间有限要赶毕设了，深入推导请看：https://arxiv.org/pdf/1505.03654.pdf

4-7

加入正则化项的目的是为了防止过拟合, 防止它对于输入的微小变化过于敏感, 但偏置对任意的输入都产生同样的效应, 加入他们对于防止过拟合没有什么帮助。

以线性回归为例：最终我们可以看到$\omega =(X{X}^{\top }+\lambda I)Xy$，偏置并没有影响到$\omega$，而拟合好坏是由$\omega$相关的，故不需要对偏置进行正则化。

4-8

因为 将$\omega$和$b$初始化为0，则初始输入：$z={\omega }^{\top }x+b=0$，在第一遍前向计算的过程中所有的隐藏层神经元的激活值都相同。在反向传播时,所有权重更新也都相同，这样会导致隐藏层神经元没有区分性。这种现象称为对称权重现
象。

4-9

可以缓解，但不一定能得到理想的效果，增大学习率可能使最优值被跨越，也可能造成梯度爆炸。

第五章

5-1

1）证明：
$$\begin{gathered} \begin{array}{rl}原式& =x(t+1)-x(t)-(x(t)-x(t-1))\\ & =\underset{\Delta t\to 1}{\lim }\frac{x(t+\Delta t)-x(t)}{\Delta t}-\frac{x(t)-x(t-\Delta t)}{\Delta t}\\ & =x^{\prime }(t)-x^{\prime }(t-1)=\underset{\Delta t\to 1}{\lim }\frac{x^{\prime }(t)-x^{\prime }(t-\Delta t)}{\Delta t}\end{array} \\ 即有：x(t+1)-x(t)-(x(t)-x(t-1))=x^{\prime \prime }(t) \end{gathered}$$
2） 由原式自然地可以知道：
$$\begin{gathered} \frac{{\partial }^{2}f}{\partial x^2}=f(x+1,y)+f(x-1,y)-2f(x,y) \\ \frac{{\partial }^{2}f}{\partial y^2}=f(x,y+1)+f(x,y-1)-2f(x,y) \end{gathered}$$
于是有二维的二阶微分：
$$\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}=f(x+1,y)+f(x,y+1)-4f(x,y)+f(x-1,y)+f(x,y-1)$$
因此可以有卷积核：
$$\left[\begin{array}{ccc}0& 1& 0\\ & & \\ 1& -4& 1\\ & & \\ 0& 1& 0\end{array}\right]$$

5-2

根据卷积，有：$y_{ij}={\sum }_{u=1}^U{\sum }_{v=1}^V{w}_{uv}\cdot x_{i+u-1}$

变换坐标：$k=i-u+1,d=j-v+1$，于是有：$u=k-i+1,v=d-j+1$

因此原式变为：
$$y_{ij}=\sum _{k=i-u+1}^{U+i-1}\sum _{d=j-v+1}^{V+j-1}{x}_{kd}\cdot w_{k-i+1,d-j+1}$$

根据宽卷积的性质，宽卷积仅是进行了X的零填充，可以发现该等式仍然成立，故宽卷积也符合可交换性。

5-3

1. 降低特征映射的深度，例如v1版本的Inception模块$1\times 1$的卷积核作用
2. 针对特征映射之间的冗余信息，能实现跨映射空间的特征抽取的作用。
3. 减小时间复杂度，见5-4。

5-4

1）时间：$O(M^2\cdot K^2\cdot C_{in}\cdot C_{out})=5.898\times 10^9$，其中$M=100,K=3,C_{in}=256,C_{out}=256$

2）时间：$O(M^2\cdot K^2\cdot C_{in}\cdot C_{out})+O(M^2\cdot K^{\prime 2}\cdot C_{in}^{\prime }\cdot C_{out}^{\prime })=1.6384\times 10^9$，其中$M=100,K=K^{\prime }=3,C_{in}=256,C_{out}=64,C_{in}^{\prime }=64,C_{out}^{\prime }=256$

5-5

将$X$其根据列优先展开为九维向量：

$$\begin{gathered} X=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ & & \\ a_{21}& a_{22}& a_{23}\\ & & \\ a_{31}& a_{32}& a_{33}\end{array}\right]=\left[\begin{array}{ccc}{\alpha }_{1\cdot }& {\alpha }_{2\cdot }& {\alpha }_{3\cdot }\end{array}\right] \\ 展开之后有：X^{\prime }=\left[\begin{array}{c}{\alpha }_{1\cdot }\\ {\alpha }_{2\cdot }\\ {\alpha }_{3\cdot }\end{array}\right] \end{gathered}$$

因此我们的仿射变换的$W$为：

$$\begin{gathered} W=\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right] \\ {W}^{\prime }=\left[\begin{array}{ccccccccc}{w}_{11}& w_{21}& 0& w_{12}& w_{22}& 0& 0& 0& 0\\ & & & & & & & & \\ 0& 0& 0& w_{11}& w_{21}& 0& w_{12}& w_{22}& 0\\ & & & & & & & & \\ 0& w_{11}& w_{21}& 0& w_{12}& w_{22}& 0& 0& 0\\ & & & & & & & & \\ 0& 0& 0& 0& w_{11}& w_{21}& 0& w_{12}& w_{22}\\ & & & & & & & & \end{array}\right] \end{gathered}$$
因此放射变换为：$Affine(W,X)=W^{\prime }{X}^{\prime }$

5-6

$\forall x_i,x_j,i\ne j有x_i\ne x_j时：\frac{\partial Max}{\partial X}=\{\begin{array}{ll}1& Max\ne 0\\ 0& Max=0\end{array}$

$argmax$不可导。

5-7

在第$l$层时：净输入为$z^{(l+1)}=W^{(l+1)}{z}^{(l)}$， 反向传播的误差项为${\delta }^{(l)}=(W^{(l+1)}{)}^{\top }{\delta }^{(l+1)}$

当在第$l+1$层时：净输入为$z^{(l)}=(W^{(l+1)}{)}^{\top }{z}^{(l+1)}$，而反向传播的误差项为${\delta }^{(l+1)}=W^{(l+1)}{\delta }^{(l)}$

因此，忽略激活函数下前向计算和反向传播是一种转置关系。

5-8

$(P+1{)}^2=K+(K-1)\times (D-1)$

第六章

6-1

共同点： 都共享参数权重，

相异点： 延时神经网络当前层神经元的活性值仅依赖于前一层神经元的最近K个时刻的活性值，而循环神经网络当前时刻的活性值依赖之前所有时刻的活性值；循环神经网络和延时神经网络都是在时间维度上共享权重，卷积神经网络则是在空间上共享权重。

6-2

第$t$时刻损失函数为：$L_t=L(y_t,g(h_t))$，故总的损失函数为：$L={\sum }_{t=1}^T{L}_t$

关于参数$W$的梯度为：$\frac{\partial L}{\partial W}={\sum }_{t=1}^T\frac{\partial L_t}{\partial W}$，关于参数$b$的梯度为：$\frac{\partial L}{\partial b}={\sum }_{t=1}^T\frac{\partial L_t}{\partial b}$

对于$W$矩阵的元素$w_{ij}$，$b$矩阵的元素$b_{ij}$，引入每个$k$时刻的净输入：$z_k=U{h}_{k-1}+W{x}_k+b$，则：
$$\begin{gathered} \frac{\partial L}{\partial w_{ij}}=\frac{{\partial }^{+}{z}_k}{\partial w_{ij}}\cdot \frac{\partial L}{\partial z_k}=\sum _{k=1}^t\frac{{\partial }^{+}{z}_k}{\partial w_{ij}}\frac{\partial L_t}{\partial z_k} \\ \frac{\partial L}{\partial b_{ij}}=\frac{{\partial }^{+}{z}_k}{\partial b_{ij}}\cdot \frac{\partial L}{\partial z_k}=\sum _{k=1}^t\frac{{\partial }^{+}{z}_k}{\partial b_{ij}}\frac{\partial L_t}{\partial z_k} \end{gathered}$$
而$\frac{{\partial }^{+}{z}_k}{\partial w_{i}j}=[0,\cdots ,[x_k{]}_j,\cdots ,0]\triangleq {\mathbb{I}}_i([x_k{]}_j)，\frac{{\partial }^{+}{z}_k}{\partial b_{i}j}=[0,\cdots ,1,\cdots ,0]\triangleq {\mathbb{I}}_i([1{]}_j)$

根据公式6.36有：$\frac{\partial L_t}{\partial z_k}=diag(f^{\prime }(z_k))U^{\top }{\delta }_{t,k+1}$，因此连立公式合并：

$$\begin{gathered} \frac{\partial L}{\partial w_{ij}}=\sum _{k=1}^t[{\delta }_{i,t,k}][x_{k,j}]\to \frac{\partial L}{\partial W}=\sum _{k=1}^t{\delta }_{t,k}{x}_k^{\top } \\ \frac{\partial L}{\partial b_{ij}}=\sum _{k=1}^t[{\delta }_{t,k,i}][1_j]\to \frac{\partial L}{\partial W}=\sum _{k=1}^t{\delta }_{t,k} \end{gathered}$$

因此有：
$$\begin{gathered} \frac{\partial L}{\partial W}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{x}_k^{\top } \\ \frac{\partial L}{\partial b}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k} \end{gathered}$$

6-3

原因

公式：$h_t=h_{t-1}+g(x_t,h_{t-1};\theta )$，此时可能存在$||diag(f^{\prime }(z_t))U^{\top }||>1$，则在计算梯度时有：

$z_k=U{h}_{k-1}+W{x}_k+b$为$g(\cdot )$在第$k$时刻的输入，则在${\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}$时，有：

$${\delta }_{t,k}=diag(f^{\prime }(z_k))U^{\top }{\delta }_{t,k+1}={\delta }_{t,t}\prod _{i=k}^{t}diag(f^{\prime }(z_k))U^{\top }$$

因此：$t-k\to +\infty$时，${\delta }_{t,k}\to +\infty$，故梯度此刻可能爆炸了。

解决方法

1. 使用基于门控的循环神经网络；
2. 使用更小的$U$和$f（\cdot ）$缓解，尽量让$||diag(f^{\prime }(z_t))U^{\top }||\approx 1$

6-4

第$t$时刻的输入向量：$x_t$

权重参数：$W_i，W_c，W_f，W_o，U_i，U_c，U_f，U_o$

bias：$b_i，b_c，b_f，b_o$

$\sigma$：sigmoid函数

$V$：$\frac{\partial o_t}{\partial h_t}$

前向传播

1. Forget Gate：$f_t=\sigma (W_f{x}_t+U_f{h}_{t-1}+b_f)$
2. Input Gate：$i_t=\sigma (W_i{x}_t+U_i{h}_{t-1}+b_i)$，$\widetilde{c_t}=tanh(W_c{x}_t+U_c{h}_{t-1}+b_c)$
3. Cell state：$c_t=f_t\odot c_{t-1}+i_t\odot \widetilde{c_t}$
4. Output Gate：$o_t=\sigma (W_o{x}_t+U_o{h}_{t-1}+b_o)$，$h_t=o_t\odot tanh(c_t)$

反向传播

隐藏状态$h_t$和$c_t$的梯度为：$\delta h_t=\frac{\partial L}{\partial h_t}$，$\delta c_t=\frac{\partial L}{\partial c_t}$

损失函数：$L(t)=l(t)+L(t+1)=l(t)+\sum _{i=t+1}^{\tau -t}l(i)$

最后时刻$\tau$时：

$\delta h_{\tau }=(\frac{\partial o_{\tau }}{\partial h_{\tau }}{)}^{\top }\frac{\partial L_{\tau }}{\partial o_{\tau }}=V^{\top }(\widehat{y_t}-y_t)$

$\delta c_{\tau }=(\frac{\partial h_{\tau }}{\partial c_{\tau }}{)}^{\top }\frac{\partial L(\tau )}{\partial h_{\tau }}=o_{\tau }\odot (1-tan{h}^2(c_{\tau }))\odot \delta h_{\tau }$

从第$t+1$时刻反向传播到第$t$时刻：

$\delta h_t=\frac{\partial L}{\partial h_t}=\frac{\partial l(t)}{\partial h_t}+(\frac{\partial h_{t+1}}{\partial h_t}{)}^{\top }\frac{\partial L(t+1)}{\partial h_{t+1}}=V^{\top }(\widehat{y_t}-y_t)+(\frac{\partial h_{t+1}}{h_t}{)}^{\top }\delta h_{t+1}$

又有：$△c_t=o_{t+1}\odot [1-tan{h}^2(c_{t+1})]$

∂ h t + 1 ∂ h t = d i a g [ o t + 1 ⊙ ( 1 − o t + 1 ) ⊙ t a n h ( c t + 1 ) ] W o + d i a g [ △ c ⊙ f t + 1 ⊙ ( 1 − f t + 1 ) ⊙ c t ] W f + d i a g { △ c ⊙ i t + 1 ⊙ [ 1 − ( c t + 1 ) 2 ] } W c + d i a g [ △ c ⊙ c t + 1 ⊙ i t + 1 ⊙ ( 1 − i t + 1 ) ] W i \frac{\partial h_{t+1}}{\partial h_t}=diag[o_{t+1}\odot (1-o_{t+1})\odot tanh(c_{t+1})]W_o+diag[\triangle c\odot f_{t+1}\odot (1-f_{t+1})\odot c_t]W_f \\\\ +diag\{\triangle c\odot i_{t+1}\odot[1-(c_{t+1})^2]\}W_c+diag[\triangle c\odot c_{t+1}\odot i_{t+1}\odot (1-i_{t+1})]W_i ∂ht​∂ht+1​​=diag[ot+1​⊙(1−ot+1​)⊙tanh(ct+1​)]Wo​+diag[△c⊙ft+1​⊙(1−ft+1​)⊙ct​]Wf​+diag{△c⊙it+1​⊙[1−(ct+1​)2]}Wc​+diag[△c⊙ct+1​⊙it+1​⊙(1−it+1​)]Wi​

$\delta c_t=(\frac{\partial c_{t+1}}{\partial c_t}{)}^{\top }\frac{\partial L}{\partial c_{t+1}}+(\frac{\partial h_t}{\partial c_t}{)}^{\top }\frac{\partial L}{\partial h_t}=(\frac{\partial c_{t+1}}{\partial c_t}{)}^{\top }\delta c_{t+1}+\delta h_t\odot o_t\odot (1-tan{h}^2(c_t))$

因此有：$\delta c_t=\delta c_{t+1}\odot f_{t+1}+\delta h_t\odot o_t\odot (1-tan{h}^2(c_t))$

于是：$\frac{\partial L}{\partial W_f}=\sum _{t=1}^{\tau }[\delta c_t\odot c_{t-1}\odot f_t\odot (1-f_t)]h_{t-1}^{\top }$

6-5

GRU将三门变两门：更新门$z_t$，重置门$r_t$，单元状态$c$与输出$o$合并为一个状态$h$

前向传播

$r_t=\sigma (W_r\cdot [h_{t-1},x_t])$

$z_t=\sigma (W_z\cdot [h_{t-1},x_t])$

$\widehat{h_t}=tanh(W_{\hat{h}}\cdot [r_t\odot h_{t-1},x_t])$

$h_t=(1-z_t)\odot h_{t-1}+z_t\odot \widehat{h_t}$

$y_t=\sigma (W_o\cdot h_t)$

反向传播

知乎有个解答很详细，这里就不写了（太长了orz）

6-6

GRU、LSTM、双向LSTM、递归神经网络、图神经网络

6-7

根据书上的图进行对比：

]

当递归神经网络退化到图6.11的结构的时候，每个$h_i$节点都只会收到 $x_i$的输入，而输出则在最后，因此跟序列到类别模式下的循环神经网络是一样的。

第七章

7-1

在小批量梯度下降中：
$$\begin{gathered} g_t(\theta )=\frac{1}{K}\sum _{(x,y)\in S_t}\frac{\partial L(y,f(x;\theta ))}{\partial \theta } \\ {\theta }_t={\theta }_{t-1}-\alpha g_t \end{gathered}$$
令$g_t=\frac{1}{K}\delta$ ，则：${\theta }_t={\theta }_{t-1}-\frac{\alpha }{K}\delta$

因此我们要使得参数最优，则$\frac{\alpha }{K}$为最优的时候的常数，故学习率要和批量大小成正比。

7-2

在Adam算法中：
$$\begin{gathered} M_t={\beta }_1{M}_{t-1}+(1-{\beta }_1)g_t \\ {G}_t={\beta }_2{G}_{t-1}+(1-{\beta }_2)\odot g_t \end{gathered}$$
因此当${\beta }_1\to 1$，${\beta }_2\to 1$的时候：
$$\begin{gathered} \underset{{\beta }_1\to 1}{\lim }{M}_t=M_{t-1} \\ \underset{{\beta }_2\to 1}{\lim }{G}_t=G_{t-1} \end{gathered}$$
因此可以发现此时梯度消失，因此需要进行偏差修正。

7-3

1. 小批量梯度下降：$G_t=1-ϵ$，$M_t=g_t(\theta )=\frac{1}{K}{\sum }_{(x,y)\in {\delta }_t}\frac{\partial L(y,f(x;\theta ))}{\partial \theta }$
2. AdaGrad：$G_t=\sum _{\tau =1}^t{g}_{\tau }\odot g_{\tau }$，$M_t=g_t(\theta )$
3. RMSprop：$G_t=(1-\beta )\sum _{\tau =1}^t{\beta }^{t-\tau }{g}_{\tau }\odot g_t$，$M_t=g_t(\theta )$
4. AdaDelta：$G_t=\sum _{\tau =1}^t{g}_{\tau }\odot g_{\tau }$，$M_t=g_t(\theta )$
5. 动量法：$G_t=1-ϵ$，$M_t=\sum _{\tau =1}^t{\rho }^{t-\tau }{g}_{\tau }$
6. Nesterov：$G_t=1-ϵ$，$M_t=\sum _{\tau =1}^t{\rho }^{t-\tau }\widehat{g_{\tau }}({\theta }_{t-1}+\rho △{\theta }_{t-1})$，$\hat{g}$为${\theta }_{t-1}+\rho △{\theta }_{t-1}$偏导
7. Adam：$G_t={\beta }_2{G}_{t-1}+(1-{\beta }_2)g_t\odot g_t$，$Mt={\beta }_1{M}_{t-1}+(1-{\beta }_1)g_t$

7-4

**Note: ** 做法有问题哈，等后续改过来

根据7.41可知：$var(a^{(l)})=M_{l-1}\cdot var(w_i^{(l)})var(a_i^{(l-1)})$

而反向传播中：$a^{(l-1)}=\sum _{i=1}^{M_l}{w}_i^{(l)}{a}^{(l)}$

因此需要做到计算强度不变，则需要满足：$var(a^{(l)})=var(a^{(l-1)})$

又因为：$a^{(l)}$和$w^{(l)}$都相互独立，且$E(a^{(l-1)})=\sum _{i=1}^{M_l}E(w_i^{(l)})E(a_i^{(l)})=0$

因此：$var(a^{(l-1)})=var(\sum _{i=1}^{M_l}{w}_i^{(l)}{a}_i^{(l)})$

即：$var(a^{(l-1)})=M_{l}var(w_i^{(l)})var(a_i^{(l)})$

因此需要满足：$var(w_i^{(l)})=\frac{1}{M_l}$

同样地，7-44推导如下：

考虑向前传播和向后传播都不会放大或缩小，则根据7.41和7-4有：

$var(a^{(l-1)})+var(a^{(l)})=M_{l-1}var(w_i^{(l)})var(a_i^{(l-1)})+M_{l}var(w_i^{(l)})var(a_i^{(l)})$

又有：$var(a^{(l-1)})=var(a^{(l)})$，因此：$(M_{l-1}+M_l)var(w_i^{(l)})=2$

因此：$var(w_i^{(l)})=\frac{2}{M_l+M_{l-1}}$

7-5

当使用ReLu函数的时候，前向传播有：KaTeX parse error: Expected group after '^' at position 13: a^{(l)}=\sum^̲\limits{M_{l-1}…

根据方差公式，有：$var(a^{(l)})=M_{l}var(w_i^{(l)})E[(x_i^{(l)}{)}^2]$

求积分，有：$E[(x_i^{(l)}{)}^2]=\frac{1}{2}Var(a^{(l-1)})$

因此有：$var(a^{(l)})=\frac{1}{2}{M}_{l-1}var(w_i^{(l)})var(a^{(l-1)})$，即：$var(w_i^{(l)})=\frac{2}{M_{l-1}}$

7-6

$a^{(l)}=f(z^{(l)})=f(W{a}^{(l-1)}+b)$ ，第$l$层的神经元净输入为$z^{(1,l)},z^{(2,l)},\cdots ,z^{(k,l)}$，则批量归一化为：
$$\{\begin{array}{l}{\mu }_B=\frac{1}{K}\sum _{k=1}^K{z}^{(k,l)}=\frac{1}{K}\sum _{k=1}^K{w}^{(k,l)}{a}^{(k,l-1)}+b={\delta }_B+b\\ {\sigma }_B^2=\frac{1}{K}\sum _{K=1}^K(z^{(k,l)}-{\mu }_B)\odot (z^{(k,l)}-{\mu }_B)=\frac{1}{K}\sum _{K=1}^K(w^{(k,l)}{a}^{(k,l-1)}-{\delta }_B)\odot (w^{(k,l)}{a}^{(k,l-1)}-{\delta }_B)\\ {\hat{z}}^{(l)}=\frac{z^{(l)}-{\mu }_B}{\sqrt{{\sigma }_B^2}-ϵ}\odot \gamma +\beta =\frac{w^{(l)}{a}^{(l-1)-{\delta }_B}}{\sqrt{{\sigma }_B^2-ϵ}}\odot \gamma +\beta \end{array}$$
$f(BN(W{a}^{(l-1)}+b))$和$f(WBN(a^{(l-1)})+b)$都是将BN层放在激活函数前，而结构差异上看一个针对上一层的输出，一个针对的是该层净输入。
$$\{\begin{array}{l}{\mu }_A=\frac{1}{K}\sum _{k=1}^K{a}^{(k,l-1)}\\ {\sigma }_A^2=\frac{1}{K}\sum _{K=1}^K(a^{(k,l-1)}-{\mu }_A)\odot (a^{(k,l-1)}-{\mu }_A)\\ {\hat{z}}^{(l)}=\frac{a^{(l-1)-{\mu }_A}}{\sqrt{{\sigma }_A^2-ϵ}}\odot \gamma +\beta \end{array}$$

$$\begin{gathered} BN(W{a}^{(l-1)+b})={\hat{z}}^{(l)} \\ WBN(a^{(l-1)})+b={\hat{a}}^{(l-1)}=\frac{w^{(l)}{a}^{(l-1)}-w^{(l)}{\mu }_A}{\sqrt{{\sigma }_A^2-ϵ}}\odot \gamma +\beta +b \end{gathered}$$
由此可见，我们还能发现针对输出时带入了上层的偏置值，会影响BN层的归一化结果。此外，前者比后者更加能充分利用参数的内容，实现更平滑的效果。

7-7

BN层中的缩放与平移，可以很好地保证模型的容纳能力，原始分布能够有效还原。同时，能有效适应不同的激活函数，通过$\gamma$和$\beta$来自动调整输入分布，防止死亡ReLu问题。

7-8

批量归一化是针对中间层的每个神经元进行归一化操作，而且净输入的分布是静态的。而循环神经网络神经元净输入的分布是动态的，无法使用批量归一化操作。

7-9

并不等价，论文中有说明。

7-10

对循环神经网络直接应用丢弃法的时候，会导致每个时刻的隐状态丢失，损害网络在时间维度的记忆能力。

7-11

$l(\tilde{y},f(x;\theta ))=-\tilde{y}\log (f(x;\theta ))$