回归问题的本质与激活函数的作用

一元或多元线性回归：

特征矩阵X点乘权重矩阵W后，生成了对应的预测值Y’，通过最小二乘法或者梯度下降法（对W求导）,不断对比预测值Y’和真实值Y的误差值LOSS，调整W，使得LOSS值最小。

多项式回归（非线性回归）：

和一元或多元线性回归类似，不过X是先经过一定的特征处理，在保留原特征的同时，根据原特征新增部分的特征（x的n次方）。由于神经元之间传递是线性的，非线性的传递需要由激活函数去实现。

激活函数的作用：

解决我们日常生活中不能用线性方程概括的问题。

假设面对分类问题，预测值Y’无法直接通过X点乘权重矩阵W直接得到，再X点乘权重矩阵W后再经过特定的激活函数，生成具备一定特征的结果值,这里设为K，K再经过一定的判断后，就可以得到预测值Y’。例如：sigmoid函数，把XW转为0到1之间的数，然后可以自定义判断，比如大于0.5为A类，小于或等于0.5为B类。