机器学习基础模型回顾

1 导论

1.1 什么是机器学习？

​ 机器学习的一个重要目标就是利用数学模型来理解数据，发现数据中的规律，用作数据分析和预测。

1.1.1 数据？

​ 数据通常由一组向量组成，这组向量中的每一个向量都是一个样本，我们用$x_i$来表示一个样本，其中$i=1,2,3...N$，共$N$个样本。每个样本$x_i=\left(x_{i1},x_{i2}...x_{ip},y_i\right)$共$p+1$个维度，$ x_{i1},x_{i2}…x_{ip} $称为特征，$y_{i}$称为因变量或者响应变量。特征用来描述影响因变量$y_{i}$的因素。例如，我们要探寻身高是否会影响体重的关系的时候，身高就是一个特征，体重就是因变量。

​ 通常在一个数据表$dataframe$里面，一行表示一个样本$x_i$，一列表示一个特征。

​ 对数据形式的约定：

• 第$i$个样本：$x_i={\left(x_{i1},x_{i2}，...，x_{ip},y_i\right)}^T$，$i=1,2,3...N$
• 因变量$y={\left(y_1,y_2，...，y_N\right)}^T$
• 第$k$个特征：$x^{\left(k\right)}={\left(x_{1k},x_{2k},...,x_{Nk}\right)}^T$
• 特征矩阵$X={\left(x_1,x_2，...，x_N\right)}^T$

1.1.2 有监督学习和无监督学习

​ 根据数据是否有因变量，机器学习的任务可分为：有监督学习和无监督学习。

• 有监督学习：给定某些特征去估计因变量，即因变量存在的时候，我们称这个机器学习任务为有监督学习。例如，我们用房间面积、房屋所在地区、环境等级等因素去预测某个地区的房价。

  根据因变量是否连续，有监督学习分为回归和分类。