Binary classification multi-class classification(k class)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/394548d2d6bbc470b13fe9c8fd07aa90.jpeg)
J代表更靠前的一层
s
l
+
1
s_{l+1}
sl+1 一共进行L-1次运算
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5f92c64bd51e53db2139462537d02939.jpeg)
back propagation(反向传播算法)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e668fdc38316faaca8fdfd757d0ff068.jpeg)
反向是i,j 正向是j,i 对于这个
θ
\theta
θ的编号的顺序还不太清楚 目前来看 正向和反向编号是反过来的
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/17ba45e3f618d3ece331c30e1fa83adc.jpeg)
gradient checking(梯度检验)
用来检验反向传播的正确性
random initialization(随机初始化)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/89d83d98e26cc7efd2ca5112da1eeb18.jpeg)
6个实现步骤