机器学习入门【3】

多维特征

多元线性回归的表达式可以写为：

矢量化的多元线性回归实现梯度下降

特征缩放

特征缩放是对输入数据进行标准化/规范化所需要的重要预处理之一。当每一列的值范围非常不同时，我们需要将它们扩展到公共级别。这些值重新规划成公共水平，然后我们可以对输入数据应用进一步的机器学习算法。

主要是让梯度图更均衡
怎么做？

1.最小-最大值归一化（min-max normalization）

也常称为归一化，将特征值缩放到区间[0, 1]内。
$$x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}$$
其中，$x$表示原始值，$min(x)$表示该特征维度的最小值，$max(x)$表示该特征维度的最大值，$x^{\prime }$表示缩放后的值。该方法具有更加泛化的形式，即将特征值缩放到区间[a, b]之间，其计算公式如下所示：
$$x^{\prime }=a+\frac{x-min(x)}{max(x)-min(x)}(b-a)$$
2.均值归一化（Mean normalization）
$$x^{\prime }=\frac{x-average(x)}{max(x)-min(x)}$$

3.标准化（Standardization） Z-score normalization

该方法的主要功能是将数据按比例缩放，使之落入一个小的特定区间，可以使得输入数据的每个特征维度都具有均值0、方差1的性质。
$$x^{\prime }=\frac{x-\bar{x}}{\sigma }$$
$\bar{x}$表示特征维度x的均值，$\sigma$表示特征向量x的标准差。

优点

• 缩放后的特征矩阵，各个维度都具有相同的重要性。
• 可以加快梯度下降的收敛速度。
• 可以加快支持向量机的速度，但是会影响最终的结果。

如何判断梯度下降是否收敛

1. 学习率图表
2. 自动收敛测试

如何设置学习率

可能的情况是代码出现错误或者学习率过大。

正确实施梯度下降的一个技巧是：
如果学习率够小，那么成本函数应该在每次迭代中减少。如果学习率够小，但仍旧出现学习率时增大时减小的情况，那么意味着代码可能存在某处错误。

特征工程

多项式回归

多项式回归是线性回归的一种扩展，它可以使我们对非线性关系进行建模。线性回归使用直线来拟合数据，如一次函数$y=kx+b$ $y=kx+b$$y=kx+b$等。而多项式回归则使用曲线来拟合数据，如二次函数$y=a{x}^2+bx+c$等来拟合数据。

😛终于是尊贵的win11用户咯！