偏最小二乘回归和偏最小二乘路径模型

1. 偏最小二乘回归（Partial least squares regression， PLS回归）

偏最小二乘 (PLS) 回归是将预测变量减少为较小的一组不相关分量并对这些分量（而不是原始数据）执行最小二乘回归的方法。当预测变量高度共线，或者预测变量比观测值多并且普通的最小二乘回归所产生的系数标准误高或完全失败时，PLS 回归特别有用。与多个回归不同，PLS 不会假设预测变量是固定的。这意味着预测变量的测量可能会有误差，使 PLS 的测量更具不确定性。

在 PLS 回归中，重点是建立预测模型。因此，通常不用来筛选在解释响应时无用的变量。

与最小二乘回归不同的是，PLS 可以在单个模型中拟合多个响应变量。PLS 回归可拟合单个模型中的多个响应变量。因为 PLS 回归以多元方式对响应变量进行建模，所以结果可能与为响应变量单独计算得出的值显著不同。仅在多个响应互不相关时才单独对这些响应建模。

偏最小二乘回归(PLS)其实解决的是一个比较实际的问题：高维数据预测问题。换句话说就是自变量的个数大于观测值的个数。你可能一开始会觉得不可思议，但是在经济学中这是很常见的。

偏最小二乘的基本思路就是——考虑