一元或多元线性回归:
特征矩阵X点乘权重矩阵W后,生成了对应的预测值Y’,通过最小二乘法或者梯度下降法(对W求导),不断对比预测值Y’和真实值Y的误差值LOSS,调整W,使得LOSS值最小。
多项式回归(非线性回归):
和一元或多元线性回归类似,不过X是先经过一定的特征处理,在保留原特征的同时,根据原特征新增部分的特征(x的n次方)。由于神经元之间传递是线性的,非线性的传递需要由激活函数去实现。
激活函数的作用:
解决我们日常生活中不能用线性方程概括的问题。
假设面对分类问题,预测值Y’无法直接通过X点乘权重矩阵W直接得到,再X点乘权重矩阵W后再经过特定的激活函数,生成具备一定特征的结果值,这里设为K,K再经过一定的判断后,就可以得到预测值Y’。例如:sigmoid函数,把XW转为0到1之间的数,然后可以自定义判断,比如大于0.5为A类,小于或等于0.5为B类。