树模型 vs 线性模型: 对稀疏特征的敏感度

线性模型：

1. 稀疏矩阵友好：线性模型如线性回归、逻辑回归等，能够很好地处理高维稀疏数据。这些模型通常采用梯度下降等优化算法进行参数估计，能够高效地处理特征中的大量零值，特别是在使用稀疏矩阵表示时，计算上可以忽略这些零值，从而减少计算资源的需求。
2. 敏感性：尽管线性模型能处理稀疏数据，但它们对特征分布和极端值较为敏感。特别是当数据集中存在极端值或类别不平衡时，线性模型的性能可能会受到影响，因为模型倾向于拟合这些极端情况，导致偏差。

树模型（如决策树、随机森林、梯度提升树等）：

1. 处理稀疏特征：树模型在分裂节点时，实际上是基于特征的一个阈值来划分数据，因此即使在高维稀疏空间中，只要非零特征能够提供足够的区分度，树模型依然可以构建有效的决策边界。这意味着，即使大部分特征为零，关键的非零特征仍会被有效利用。
2. 对稀疏数据的鲁棒性：相较于线性模型，树模型对稀疏特征和噪声的容忍度更高。在构建树的过程中，通过不断分割来寻找最佳划分，能够在一定程度上自然地忽略不重要的稀疏特征，减少了噪声特征对模型的影响，同时这一点很重要，即one-hot特征处理时，会使得类别变量变成稀疏矩阵，降低了模型对该特征重要性的识别，所以在做特征工程的时候比较推荐对类别特征做label-encoder。
3. 过拟合风险：但是，如果数据非常嘈杂或者特征之间高度相关，树模型（尤其是深度较大的模型，如GBM）可能会更容易过拟合，尤其是在特征选择不当或未进行适当剪枝的情况下。

综上所述，树模型在处理稀疏特征时通常展现出较好的鲁棒性和效率，因为它们能够自然地“绕过”不重要的稀疏特征并聚焦于有区分度的特征上。而线性模型虽然也能有效处理稀疏数据结构，但其对数据的分布和异常值更为敏感，可能需要额外的正则化或其他技术来应对这些问题。