机器学习解决应用问题的一般步骤（笔记）

第一步：识别问题

       首先明确这个问题是分类还是回归，通过问题和数据就可以判断出来，数据由X和label列构成，label可以一列也可以多列，可以是二进制也可以是实数。当它为二进制时，问题属于分类，当它为实数时，问题属于回归。

第二步：分离数据

       把数据分离成Training Data和Validation Data来检验这个模型的表现，不然的话，通过各种调节参数，模型可以在训练数据集上面表现的非常出色，但是这可能会是过拟合，过拟合就是太依赖现有的数据了，拟合的效果特别好，但是只适用于训练集，以至于来一个新的数据，就不知道该预测成什么了。所以需要有validation来验证一下，看这个模型是在那里自娱自乐还是真的表现出色。

       在scikit learn包里就有工具可以帮你做到这些：

                分类问题用StratifiedKFold：

                from sklearn.cross_validation import StratifiedKFold

                回归问题用KFold：

                from sklearn.cross_validation import KFold

第三步：构造特征

        这个时候，需要将数据转化成模型需要的形式。数据有三种类型：数字，类别，文字。当数据是类别的形式时，需要将它的每一类提取出来作为单独一列，然后用二进制表示每条记录相应的值。例如：

        record 1: 性别 女

        record 2: 性别 女

        record 3: 性别 男

     转化之后就是：
          女 男
          record 1: 1 0
          record 2: 1 0
          record 3: 0 1

     这个过程sklearn也可以帮你做到：

     from sklearn.preprocessing import LabelEncoder

     或者

     from sklearn.preprocessing import OneHotEncoder

第四步：组合数据

      处理完Feature之后，就将它们组合到一起、

       如果数据是稠密的，就可以用numpy的hastck：

       import numpy as np

       X = np.hstack((x1, x2, ...))

       如果是稀疏的，就用sparse的hstack：

       from scipy import sparse

       X = sparse.hstack((x1, x2, ...))

       组合之后，就可以应用以下算法模型：

        · RandomForestClassifier

        · RandomForestRegressor

        · ExtraTreesClassifier

        · ExtraTreesRegressor

        · XGBClassifier

        · XGBRegressor

       但是不能应用线性模型，线性模型之前需要对数据进行正则化而不是上述预处理。

第五步：分解

        这一步是为了进一步优化模型，可以用以下方法：

PCA：Principal components analysis， 主成分分析，是一种分析、简化数据集的技术，用于减少数据集的维数，同时保持数据集中对方差贡献最大的特征。from sklearn.decomposition import PCA

对于文字数据，在转化成稀疏矩阵之后，可以用SVD。from sklearn.decomposition import TruncatedSVD

SVD：Singular Value Decomposition，奇异值分解，是线性代数中一种重要的矩阵分解，它总能找到标准化正交基后方差最大的维度，因此用它进行降维去燥。

第六步：选择特征

        当特征个数越多时，分析特征、训练模型所需的时间就越长，容易引起“维度灾难”，模型也会越复杂，推广能力也会下降，所以需要剔除不相关或冗余的特征。

         常用的算法有完全搜索，启发式搜索，和随机算法。

         例如，RandomForest：

         from sklearn.ensemble import RandomForestClassifier

         或者xgboost：

          import xgboost as xgb

         对于稀疏的数据，一个比较有名的方法是chi-2：

         from sklearn.feature_selection import SelectKBest

         from sklearn.fearure_selection import chi2

第七步：选择算法进行训练

选择完最相关的参数之后，接下来就可以应用算法，常用的算法有：

Classification:
Random Forest
GBM
Logistic Regression
Naive Bayes
Support Vector Machines
k-Nearest Neighbors
Regression
Random Forest
GBM
Linear Regression
Ridge
Lasso
SVR