Oner.wv的专栏

这一篇我会总结sklearn.pipeline.Pipeline。１、sklearn.pipeline.Pipeline类先给出官方的文档链接：http://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.htmlclass sklearn.pipeline.Pipeline(steps)

跑完分类模型（Logistic回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如Confusion Matrix、ROC、Lift、Gini、K-S之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大：“这个模型的Lift是4，表明模型运作良好。——啊，怎么还要解释ROC，ROC如何如何，表明模型表现良好……”如果不明白这些评估指标的背后的直觉，就很可能陷入这样

ROC上回我们提到，ROC曲线就是不同的阈值下，以下两个变量的组合（如果对Sensitivity和Specificity两个术语没有概念，不妨返回，《分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵》，强烈建议读者对着看）：Sensitivity（覆盖率，True Positive Rate）1-Specificity (Specificity,

1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤　　数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在《使用sklearn做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法fit、transform和fit_transform，fit方法居然和模型训练方法fit同名（不光同名

1 特征工程是什么？　　有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：　　特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。...

1 监督学习（supervised learn）与无监督学习（unsupervised learn）机器学习系统通常被看作是有无人类监督学习两种方式。监督学习问题是，从成对的已经标记好的输入和输出经验数据作为一个输入进行学习，用来预测输出结果，是从有正确答案的例子中学习。而无监督学习是程序不能从已经标记好的数据中学习。它需要在数据中发现一些规律。假如我们获取了人的身高和体重数据，非监督学习的例

这篇文章是以Bremen大学机器学习课程的教程为基础的。本文总结了使用机器学习解决新问题的一些建议。包括：可视化数据的方法选择一个适合当前问题的机器学习方法鉴别和解决过拟合和欠拟合问题 处理大数据库问题（注意：不是非常小的） 不同损失函数的利弊本文以Andrew Ng的《应用机器学习的建议 | Advice for applying Machine Learning》为基础。这个笔

本文小编通过用sklearn的preprocessing模块来介绍常见的数据预处理方法。1. 标准化 (Standardization)       变换后各维特征有0均值，单位方差。也叫z-score规范化（零均值规范化）。计算方式是将特征值减去均值，除以标准差。>>> sklearn.preprocessing.scale(X)       一般会把train和

在scikit-learn包中，有一个euclidean_distances方法，可以用来计算向量之间的距离。from sklearn.metrics.pairwise import euclidean_distancesfrom sklearn.feature_extraction.text import CountVectorizercorpus = ['UNC played Duk

在之前的代码中多次出现了使用sklearn.pipeline.Pipeline和sklearn.preprocessing.PolynomialFeatures这两个类。我在找相关资料的时候发现很少有写这方面的文章和博客。除了官网的英文文档，其实这个文档写的非常好。但考虑到自己的英文水平有限，于是想写点什么来记录这两个类。１、sklearn.preprocessing.PolynomialFe

书接前文。跟ROC类似，Lift（提升）和Gain（增益）也一样能简单地从以前的Confusion Matrix以及Sensitivity、Specificity等信息中推导而来，也有跟一个baseline model的比较，然后也是很容易画出来，很容易解释。以下先修知识，包括所需的数据集：分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵分类模型的性能评估——