【深度学习】线性回归与softmax回归（简记）

预测模型：

        

         其中  和  是列向量，分别储存着所有的权重和特征

损失函数：

        

        其中 n 是样本总量，i 是每组样本数据计算的结果

目标：

               

        找到一组权重和偏差值使损失函数最小

小批量线性回归： 

（1）调整超参数：批量大小：m（m > 0）；学习率：η（η > 0）

（2）随机选取初始权重和偏差值

（3）进行迭代：

        

注意：迭代过程应该权重与偏差值同时进行

线性回归的神经网络：

输入个数也叫特征数或特征向量维度

由于输入层不涉及计算，所以线性回归是一个单层神经网络

 输出层中的神经元和输入层中各个输入完全连接，所以这里的输出层又叫全连接层或稠密层

softmax 回归：

输出是离散值，多个输出单元

输出值的个数等于标签的类别数

预测模型（有 i 个特征值，j 个标签类别）：

归一化处理：

损失函数：