全书讲了惩罚线性回归,集成方法,这两种算法。
第一章--
简要介绍了这两类算法
惩罚性线性回归
- 惩罚线性回归可以减少自由度使之与数据规模,问题复杂度相匹配。(这里的自由度就是维度吧)
- 对于大自由度问题:基因问题,文本分类问题。有优势
- 训练速度快,用在特征工程阶段
集成方法
基本思想是构建多个模型,以某种方式组合,再将其输出。
- 某些算法输出结果不稳定,在现有数据集上增加新的数据会导致性能突变。如二元决策树,传统的神经网络,这种不稳定性导致预测模型性能的高方差,取多个模型的平均值可以降低方差。
特征工程
对特征进行整理,组合
需要检查的事项:行列数,类的变量数目,类别取值范围,缺失的值,属性和标签的统计特性
- 百分位数
- 对于类别属性,有些方法只支持有限的类别数,对于超过的,需要进行合并。