深度学习中分类问题常用到softmax函数、并将交叉熵函数作为损失函数。
将二者的求导推导过程记录下来,以备学习。
Softmax定义如下:
![9a5e49072869204af87dfc97ed7fccdf.png](https://i-blog.csdnimg.cn/blog_migrate/49d6eae7f31fa6ed4209c0fc28734c33.jpeg)
交叉熵定义如下:
![d0dd5ef547f519c4d901f17cbc5d35e6.png](https://i-blog.csdnimg.cn/blog_migrate/28367d93ad754f85349289fa710bd3cf.png)
Softmax求导过程:
对于i=j
![930fcb43ab7817988ed5249ba4c36b71.png](https://i-blog.csdnimg.cn/blog_migrate/fa630733ee2af020779ec8aa04991790.jpeg)
![72d7686a448d99149f8799279cc576f5.png](https://i-blog.csdnimg.cn/blog_migrate/15f26300529d3a3d5902bccdb64eb5f5.jpeg)
对于i≠j
![ad3f6b533086fa58b9806665ded37c96.png](https://i-blog.csdnimg.cn/blog_migrate/74152bc960642df16d1caffe989cb731.jpeg)
![0bb8604bd107f8be559df8bbcc8aab39.png](https://i-blog.csdnimg.cn/blog_migrate/b956ba50c85a79944ebffdde26f23174.jpeg)
交叉熵函数求导过程:
![ca20c1a7a8afb49009307221edc2ddf8.png](https://i-blog.csdnimg.cn/blog_migrate/5fd75c4b9d42e7f156469c051bf08b0f.jpeg)
![aeba12c12d6cae445ae56c5fccac0306.png](https://i-blog.csdnimg.cn/blog_migrate/4805d0690541803bfc647890b873894a.jpeg)
将softmax函数求导结果带入上式:
![cca745672b9f20848b8e1abd4d2ee617.png](https://i-blog.csdnimg.cn/blog_migrate/718c2dd2e82c9abe88538e6001fe18c6.jpeg)
![d93ede603dde842c3b0dce2b91415690.png](https://i-blog.csdnimg.cn/blog_migrate/d17a18a604b1d2f7d98b4a7cf260d95f.jpeg)
深度学习中分类问题常用到softmax函数、并将交叉熵函数作为损失函数。
将二者的求导推导过程记录下来,以备学习。
Softmax定义如下:
交叉熵定义如下:
Softmax求导过程:
对于i=j
对于i≠j
交叉熵函数求导过程:
将softmax函数求导结果带入上式: