wjw1993year的博客

图解反向传播算法在训练神经网络时，前向传播是网络从接收输入 xxx 直到它产生一个标量代价函数 J(θ)J(\theta)J(θ) ，反向传播（BP）则是代价函数的信息通过网络向后流动并计算梯度。计算图可以准确地描述网络的前向和后向过程，而且代码实现图这种数据结构后，可以利用到图的遍历、拓扑排序等经典算法来实现通用的BP算法。参考资料：花书《深度学习》第六章自动微分开源项目：https://gitee.com/Carl-Xie/AutodiffEngine问题引入训练神经网络时，需要计算参数

强对偶性的证明本博客是参考资料的笔记整理：https://www.bilibili.com/video/BV1dJ411B7gh?t=185&p=381. 预备知识定义 1 凸集：某点集D是凸集，是指对于任意两点x1x_1x1​, x2∈Dx_2∈ Dx2​∈D 和0≤λ≤10 ≤ λ ≤ 10≤λ≤1，有：x=λx1+(1−λ)x2∈D(1)x=\lambda x_{1}+(1-\lambda) x_{2} \in D \tag{1}x=λx1​+(1−λ)x2​∈D(1)以下是