深度学习基础----线性回归，感知机，逻辑回归，softmax分类

线性回归

回归问题当然是要学参数，但首先回归的形式是啥？

• 

线性回归如何习得参数？

• 损失函数MSE均方误差：　
• 具体方法：　
  • 梯度下降法：迭代求解
  • 最小二乘法：闭式求解
  • 
  • 

 

 

 

感知机：

感知机是一个二分类模型：

• 
• 

如何求得感知机的参数：

• 
• 损失函数：所有误分类的样本到超平面的距离最小：

　　　　　　　　　　　　

感知机的对偶形式：

• 当学习率取1时,α i =n i 就表示第i个实例由于误分类而重复对参数更新的次数。除去学习率这个超参之外,
  整个学习目标可以顺势转为学习n i 而不再是w和b.

　　　　　　　　　　　　　　　　

• 对偶形式：
• 使用时机：
  • 在向量维数(特征数)n过高时,应选择对偶形式算法加速。
  •  在向量个数(样本数)N过多时,应选择原始算法。

 

逻辑回归：

逻辑回归函数

• 

将分类问题看作条件概率

　　　　

损失函数，梯度与参数更新

• 损失函数：
• 梯度：
• 参数更新：

学习率的影响

 

softmax:

• 函数式：
• softmax和argmax:  softmax得到每个分类下的概率，argmax取最大概率的类别
• argmax和max：argmax是取最大概率的类别，max是最大概率