要点:
1、softmax回归——待定参数的模型
以此可以求得输入为某一个数字分别的概率。softmax函数解决的问题就是在同一尺度下,概率的归一化。
2、placeholder和variable
placeholder是给输入留的位置。
variable是要最终训练出的参数(权值)。
3、交叉熵——当前参数下模型好坏的准绳
交叉熵是我们验证训练出的模型好坏的准绳,y丿是我们已知的概率,只有一位是1,其他全零。目标就是这个值尽可能的小。
4、训练过程
训练过程,就是通过某种方法,来不断快速使交叉熵(准绳)变到最小的状态。机器学习的算法研究两个问题:
1、快速——variable太多没办法快速
2、能收敛——下次训练得到的结果如果有可能还不如上次,那就是白忙活
反向传播?梯度下降?