1、学习背景
这两天学习softmax逻辑回归算法,然后卡在了其代价函数求偏导处,“百科”中说,softmax的代价函数如下:
经过求导,得到梯度公式如下:
作为一个准数学专业毕业十多年的小姐姐,不搞明白推导过程怎能罢休!于是,经过两三天各种“百度”和推导,脑袋大一圈、头发掉一把,快要放弃的时候,终于在一位数学专业的美女同事帮助下,成功推导出上述公式。
于是,为了纪念我牺牲的秀发,仅以此文专门记录softmax代价函数求偏导的数学推导过程。算法的学习笔记以后再做。
2、用到的数学公式
示性函数 | 1{值为真的表达式}=1;1{值为假的表达式} =0 |
对数求导 | ![]() |