Softmax是Logistic的推广,其算法原理也相似,都可以通过最大对数似然估计建立损失函数。为了给后继几次概率模型的算法专题打下基础,本次课引入了信息论基础理论,并尝试用最小交叉熵来代替最大对数似然函数估计。信息论相关基础理论是本次课的重点。
Softmax是Logistic的推广,其算法原理也相似,都可以通过最大对数似然估计建立损失函数。为了给后继几次概率模型的算法专题打下基础,本次课引入了信息论基础理论,并尝试用最小交叉熵来代替最大对数似然函数估计。信息论相关基础理论是本次课的重点。