《Python机器学习预测分析核心算法》上

全书讲了惩罚线性回归，集成方法，这两种算法。

 

第一章--

简要介绍了这两类算法

惩罚性线性回归

• 惩罚线性回归可以减少自由度使之与数据规模，问题复杂度相匹配。（这里的自由度就是维度吧）
• 对于大自由度问题：基因问题，文本分类问题。有优势
• 训练速度快，用在特征工程阶段

集成方法

基本思想是构建多个模型，以某种方式组合，再将其输出。

• 某些算法输出结果不稳定，在现有数据集上增加新的数据会导致性能突变。如二元决策树，传统的神经网络，这种不稳定性导致预测模型性能的高方差，取多个模型的平均值可以降低方差。

特征工程

对特征进行整理，组合

需要检查的事项：行列数，类的变量数目，类别取值范围，缺失的值，属性和标签的统计特性

• 百分位数
• 对于类别属性，有些方法只支持有限的类别数，对于超过的，需要进行合并。