sklearn常见算法及其Api的使用

第一部分：sklearn主要模块和使用方法

1. sklearn的六大板块：
分类: Classification
回归: Regression
聚类：Clustering
维数约简：Dimensional Reduction
模型选择：Model Selection
数据预处理：Preprocessing
2. 监督学习/无监督学习下的各个模块及调用方法
2.1 监督学习的各个模块
neighbors: 近邻算法
SVM: 支持向量机
kernal_ridge: 核岭回归
discriminant_analysis: 判别分析
linear_model: 广义线性模型
ensemble: 集成方法
tree: 决策树
naive_bayes: 朴素贝叶斯
cross_decomposition: 交叉分解
gaussion_process: 高斯过程
neural_network: 多层神经网络
calibration: 概率校准
isotonic: 保序回归
feature_selection: 监督特征选择
multiclass: 多类多标签算法
2.2 无监督学习各个模块
decomposition: 矩阵因子分解
cluster: 聚类分析
manifold: 流行学习
mixture: 高斯混合模型
neural_network: 无监督神经网络
density: 密度估计
covariance: 协方差估计
2.3 数据变换模块
feature_extraction: 特征提取
feature_selection: 特征选择
preprocessing: 数据预处理
random_projection: 随机投影
kernal_approximation: 核逼近
pipline: 管道流
调用方法：from sklearn import model(model 表示对应的模型)
例如：调用决策树回归分析模块
from sklearn import tree
model = tree.DecisionTreeRegressor()

3. API调用方法
   3.1 统一调用
   estimator.fit(x_train,[y_train]) [ ]表示无监督模块无y
   estimator.predict(x_test) estimator.transform(x_test)
   Classification Preprocessing
   Regression Dimensionally Reduction
   clustering Feature Extraction
   Feature Selection
   3.2 数据集的加载方式 Dataset Loading
   sklearn自带的小数据集的加载(Packaged Dataset)
   sklearn.datasets.load_datanema(对应的数据集名称，可在官方API介绍中查看)
   以导入波士顿房价数据集为例：
   sklearn.datasets.load_boston
   在线下载的数据集(Downloadable Dataset)
   sklearn.datasets.fetch_dataname（下载的数据集名称）
   计算机生成的数据集(Generated_Dataset)
   sklearn.datasets.make_dataname(生成的数据集名称)
   svmlight/libsvm 格式的数据集
   sklearn.datasets.load_svmlight_file(对应文件在磁盘中的地址)
   从mldata.org(一个机器学习数据集网站）在线下载获取数据集
   注：更多API接口在需要的时候从官方API介绍查看使用。

4.利用sklearn进行分析的基本流程
准备我们所需要的数据集即加载数据集 (Loading datasets)
–选择合适的方式将我们要处理的数据集加载到内存中，这里以从UCI下载的数据集为例

#python3.6
import numpy as np
import urllib
# 导入数据集所在网址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 借用urlopen 将数据集导入
raw_data = urllib.urlopen(url)
# 以矩阵形式存储数据
dataset = np.loadtxt(raw_data, delimiter=",")
# 观察数据特征并进行适当的切分
X = dataset[:,0:7]
y = dataset[:,8]

数据处理 (Preprocessing)
– 由于我们所用到的大多数机器学习回归算法以梯度下降法为主，且对数据的缩放和尺度较为敏感，所以我们在使用数据前应该进行数据归一化，归至（-1,1）或者（0,1）之间。
– 不过sklearn作为强大的机器学习模块，已经内置了normalize(),scale()等函数，便于我们对数据的归一化。

#归一化在数据预处理板块中
from sklearn import preprocessing
# normalize the data attributes
normalized_X = preprocessing.normalize(X)
# standardize the data attributes
standardized_X = preprocessing.scale(X)

特征选择 (Feature selection)
– 根据已有数据要想拟合出我们需要的回归曲线，最重要的就是特征选择，到底数据集中的哪些规律值得我们重视呢？
– 往往在面对不同的实际问题时，对应的特征复杂程度也不同，这需要很强的专业知识，但做为初学者，sklearn内置的函数就够我们进行分析使用。

#以决策树的特征提取为例
from sklearn import metrics
from sklearn.ensemble import ExtraTreesClassifier
model = ExtraTreesClassifier()
model.fit(X, y)

算法的选择(Choose the algorithm)
– 针对不同的问题我们可以选择不同的回归方法进行分析，具体展示在下面一栏。
5. 常用回归分析的实现及对比
5.1 首先我们准备下所需要的数据集，这里的数据采用计算机随机生成。

import numpy as np 
import matplotlib.pyplot as plt 

#Prepare the data we need
def f(x1,x2):
    y = 0.5 * np.sin(x1) + 0.5 * np.cos(x2) + 0.1 * x1 + 3
    return y 
#creat training data and test data
def LoadData():
    x1_train = np.linspace(0, 50,500)
    x2_train = np.linspace(-10, 10,500)
    data_train = np.array([[x1,x2,f(x1, x2) + (np.random.random(1)-0.5)] for x1,x2 in zip(x1_train, x2_train)])
    x1_test = np.linspace(0, 50,100) + 0.5 * np.random.random(100)
    x2_test = np.linspace(-10, 10,100) + 0.02 * np.random.random(100)
    data_test = np.array([[x1,x2,f(x1, x2)] for x1,x2 in zip(x1_test, x2_test)])
    return data_train,data_test
train,test = LoadData()
x_train,y_train = train[:,:2],train[:,2] 
x_test,y_test = test[:,:2],test[:,2]

5.2 定义拟合函数，以便重复调用实现不同的回归方法

def TryDifferentMethod(model):
    model.fit(x_train,y_train)
    score = model.score(x_test,y_test)
    result = model.predict(x_test)
    plt.figure()
    plt.plot(np.arange(len(result)),y_test,'go-',label='true value')
    plt.plot(np.arange(len(result)),result,'ro-',label='predict value')
    plt.title('score:%f'%score)
    plt.legend()
    plt.show()

5.3 这里使用经常用到的五种回归方法进行展示

# 1.DecisionTree Regression
from sklearn import tree
model_DecisionTreeRegressor = tree.DecisionTreeRegressor()
#TryDifferentMethod(model_DecisionTreeRegressor)

# 2.LinearRegression
from sklearn import linear_model
model_LinearRegression = linear_model.LinearRegression()
#TryDifferentMethod(model_LinearRegression)

# 3.SVM Regression
from sklearn import svm
model_SVMRegression = svm.SVR()
#TryDifferentMethod(model_SVMRegression)

# 4.KNN Regression
from sklearn import neighbors
model_KNeighborsRegressor = neighbors.KNeighborsRegressor()
#TryDifferentMethod(model_KNeighborsRegressor)

# 5.RandomForest Regression
from sklearn import ensemble
model_RandomForestRegressor = ensemble.RandomForestRegressor(n_estimators=22) # Use 22 Decision Trees
#TryDifferentMethod(model_RandomForestRegressor)

为了更明显的对比初差距，将可视化后的图像呈现出来：
1.线性回归方法
2.决策树回归方法

3.支持向量机回归方法
4.KNN回归方法
5.随机森林回归方法