softmax回归的基本要素

softmax回归的基本要素

1.数据集：带有标签的图片，即已分类好的图片。以$28\times 28$的灰度图为例，它们共分为10类。
2.模型：只有一个全连接层的神经网络，因此是单层神经网络。
1.输入为图片，以其像素为输入，即一个样本的输入应为1行784列（$28\times 28=784$）的向量。
2.一个样本的真实输出为$1\times 10$的向量，这10个数字中只有一个是1，其它数字都是0，1所在的位置表明这个图片属于那一类。
3.对于一个样本（$1\times 784$的输入向量），采用线性回归的方法，需要$784\times 10$的权重矩阵，$1\times 10$的偏差矩阵，得到的$1\times 10$的向量是不好预想的结果，里面的值可能有的特别大，如$10^3$，因此将预测结果做类似归一化的处理，使该向量表现为概率分布的样子，每个数字都在0到1之间，且向量中所有数字相加之和为1，而这些数字中最大的数字所在的位置就是模型预测该图片的分类结果。这种归一化的过程就是 softmax运算符 作用在线性回归所得结果的过程。例如，第$i$个样本线性回归后得到的预测向量的第$j$个分量是$o_j^i$，将softmax运算符作用后得到
${\hat{y}}_j^i=\frac{exp(o_j^i)}{{\sum }_{j}exp(o_j^i)}$，其满足${\sum }_j{\hat{y}}_j^i=1$
3.损失函数：交叉熵损失函数（cross entropy loss）
衡量真实的概率分布和预测的概率分布差异的测量方法是计算两个概率分布的 交叉熵 。第$i$个样本的交叉熵计算方法：
$l^i=-{\sum }_j{y}_j^i\log {\hat{y}}_j^i$
设样本个数为$n$，则交叉熵损失函数计算方法：
$loss=\frac{1}{n}{\sum }_i{l}^i$
4.优化函数：小批量随机梯度下降法：将训练数据集分成一批一批，先使用一批的数据来训练，修正参数，再用下一批的数据训练去修正参数。修正参数的过程，就是对每一个参数，减小损失函数$loss$对于该参数的梯度。