线性模型的基本形式
给定d个特征值的示例x=(x1,x2,x3.....xd),xi是x在第i个属性上的取值。线性模型试图通过属性的线性组合来进行预测的函数,其形式为
f(x)=w1x1+w2x2+w3x3+...+wdxd
向量形式为f(x)=w^T*X+b
线性模型简单易建模,体现了机器学习的重要思想,具有诸多优点。
其思维导图如下:
今日学习 主要有回归任务和分类任务。
1.线性回归
线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。线性回归中的数据呈现线性关系,其表达形式为y = w(T)x+b。其中w为系数向量组,x为特征值向量组,b为常值系数。
我们通常将数据集分为训练集和测试集,使用训练集来确定待定系数,测试集来测试误差,通过代价函数进行优化。
- 训练模型的一些方法:正规方程法,梯度下降法等。
- 测试模型的一些方法:留出法,交叉验证法,自助法等。
在另一篇文章里有使用c++的实现。