linear-regression

线性回归的基本要素

 

模型ŷ =x1w1+x2w2+b

线性回归模型的参数：w1和w2是权重（weight），b是偏差（bias），且均为标量

模型训练（model training）：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小

训练数据集（training data set）或训练集（training set）：收集一系列的真实数据

一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。

衡量价格预测值与真实值之间的误差：通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。

损失函数（loss function）：衡量误差的函数

平方误差函数也称为平方损失（square loss）

解析解（analytical solution）：误差最小化问题的解可以直接用公式表达出来【线性回归和平方误差刚好属于这个范畴】

数值解（numerical solution）：通过优化算法有限次迭代模型参数来尽可能降低损失函数的值

 

批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批