优化迭代方法统一论-线性回归建模

线性回归建模

一、案例分析

病人收缩压预测，符合监督式学习步骤

• 已知数据维度:姓名、性别、体重、是否吸烟、收缩压

通过已经标注的各维度数据进行训练，得出模型，当给定一组新的数据时，根据模型预测出收缩压

二、相关概念

• 训练样本

x代表输入，y代表输出，当输出结果由单个维度决定时可按如下表示一个训练样本

当输出结果由多个维度决定时需要按如下方式表示

• 训练样本集

由所有的训练样本组成的集合

• 监督式学习(supervised learning)

输入数据有相应的特征和标签，通过学习找到特征和标签间的关系。当有特征而无标签的未知数据输入时，我们可以通过已经学习到的关系得到未知数据标签。在上例中，特征属性为:姓名、性别、体重、是否吸烟，标签属性为:收缩压。

• 回归(regression)

从一组数据出发，确定某些变量之间的定量关系式，建立相应的数学模型，并可使用该模型进行预测

三、线性回归

利用数理统计的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的统计分析方法

• 一元线性回归

只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，即试图学习如下关系

• 多元线性回归

回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，即试图学习如下关系

• 回归分析核心:根据已有数据学习，得到w和b