本文介绍了sklearn模块在机器学习中的应用，特别是DictVectorizer如何对字典格式的数据进行特征提取和向量化。内容涵盖fit、fit_transform、transform的区别，LabelBinarizer的标签二值化作用，以及在决策树分类器中需要注意的参数调整和过拟合问题。建议在决策树建模前进行维度规约和可视化检查，以提高模型的健壮性。
sklearn是机器学习中一个常用的python第三方模块，网址：http://scikit-learn.org/stable/index.html，里面对一些常用的机器学习方法进行了封装，在进行机器学习任务时，并不需要每个人都实现所有的算法，只需要简单的调用sklearn里的模块就可以实现大多数机器学习任务。
机器学习任务通常包括分类（Classification）和回归（Regression），常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。
常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等
1.sklearn中fit、fit_transform、transform
fit原义指的是安装、使适合的意思，其实有点train的含义但是和train不同的是，它并不是一个训练的过程，而是一个适配的过程，过程都是定死的，最后只是得到了一个统一的转换的规则模型。
transform：是将数据进行转换，比如数据的归一化和标准化，将测试数据按照训练数据同样的模型进行转换，得到特征向量。
fit_transform：可以看做是fit和transform的结合，如果训练阶段使用fit_transform，则在测试阶段只需要对测试样本进行transform就行了。
2.preprocessing.LabelBinarizer()标签二值化，对于标称型数据来说，preprocessing.LabelBinarizer是一个很好用的工具。比如可以把yes和no转化为0和1
最低0.47元/天 解锁文章
3705
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
