线性回归 逻辑回归 学习笔记 sigmoid softmax cross entropy

线性回归

最简单的线性回归问题，y=wx+b，模型输出一个值，用L1/L2 loss，即MAE/MSE loss，去做梯度下降。

逻辑回归

2分类问题，如回归问题一样，网络或者模型同样输出一个值，然后用sigmoid给它拉到0~1，然后用binary cross entropy loss去做梯度下降。

binary cross entropy = -np.mean ( y * log y_hat + (1-y) * log(1-y_hat) ) 。

如果多分类问题，模型输出n纬向量，经过softmax映射出各个类别的概率，然后用cross entropy loss，做梯度下降。
cross entropy = - np.mean( y * np.log(yhats))
softmax 公式如下：
$$S_i=\frac{e^i}{{\sum }_{j=1}^n{e}^j}$$
即，用 e 为底，所有元素分别为指数，然后求和，其中某个元素的softmax值就是用 e 为底，用该元素作指数求值，除以所有元素的指数和。结果是大的越大，小的越小，且总和为1。