weixin_45033302的博客

原创 机器学习笔记（一）

特征工程一、特征归一化线性函数归一化零均值归一化意义：未归一化的数据在梯度下降中需要较多的迭代才能找到最优解。应用：通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络，但对于决策树模型则并不适用，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。二、类别型特征序号编码独热编码：使用稀疏向量，特征向量只有某一维取值为 1，其他位置