此系列文章提炼《Python机器学习基础教程》最核心要点
第一章 引言
一、熟悉任务
1、确定回答的问题
2、表示成机器学习的问题
3、收集的数据是否足够表示这类问题
4、提取了哪些特征，能否实现正确预测
5、如何衡量成功
6、解决方案与研究或商业产品有哪些是互相影响的
二、必要的工具
三、基本操作
1、观察数据
- 1）训练测试集划分
X_train,X_test,y_train,y_test=train_test_split(data['data'],data['target'])
#其中data为导入数据文件的名称，[]中填写表格列名称
- 2）可视化观察
iris_dataframe = pd.DataFrame(X_train, columns=iris_dataset.feature_names)
grr=scatter_matrix(iris_dataframe, c=y_train, figsize=(15, 15), marker='o',hist_kwds={'bins': 20}, s=60, alpha=.8, cmap=mglearn.cm3)
#利用DataFrame创建散点图矩阵
2、构建模型（k-近邻为例）
- 1）调用模型
from sklearn.neighbors import KNeighborsClassifier
knn=KNeighborsClassifier(n_neighbors=1)
#scikit-learn所有机器学习模型都是在各自的类中实现的，这些类被称为Estimator类，k临近算法是在neighbors模块的KNeighborsClassifier类中实现的，因此，我们需要这样两行代码
- 2）模型拟合
knn.fit(X_train,y_train)
#需要调用knn对象的fit方法
3、作出预测
prediction = knn.predict(X_new)#X_new是新数据（nparray）
print("Prediction: {}".format(prediction))
4、评估模型
- 1）方法一：预测再对比
y_pred = knn.predict(X_test) print("Test set score: {:.2f}".format(np.mean(y_pred == y_test))) - 2）方法二：用score方法
print("Testscore:{:.2f}",format(knn.score(X_test,y_test)))
第二章 监督学习
一、概述
二、监督学习算法
1、k近邻
- 1）k近邻分类
- A.基本操作
from sklearn.neighbors import KNeighborsClassifier clf = KNeighborsClassifier(n_neighbors=3) clf.fit(X_train, y_train) - B.模型复杂度与泛化能力关系
- 使用更少邻居对应更高的模型复杂度
- 代码绘制精度与n_neighbors关系图
- 利用循环探索1-10
- 每一步记录训练集与泛化精度（两个accuracy初始化为[]）
training_accuracy.append(clf.score(X_train, y_train)) test_accuracy.append(clf.score(X_test, y_test)) - 利用plt.plot可视化
- A.基本操作
- 2）k近邻回归
- A.基本操作
from sklearn.neighbors import KNeighborsRegressor reg = KNeighborsRegressor(n_neighbors=3) reg.fit(X_train, y_train) - B.分析
单一邻居训练集中每个点对预测结果都有显著影响（图像经过所有预测点）
邻居越多边界越平滑（但训练得分下降）
- A.基本操作
- 3）优缺点与参数
- 参数
邻居个数：一般3-5较好
距离度量：默认欧氏距离 - 优点：容易理解，不需要过多调参
- 缺点：特征多或样本数很大效果不好，稀疏数据集效果不好，预测慢
- 参数
2、线性模型
- 1）用于回归的线性模型
- A.概述
预测结果：单一特征-直线；二维特征-平面；多维特征-超平面 - B.线性回归（普通最小二乘法）
- a.基本操作
from sklearn.linear_model import LinearRegression lr = LinearRegression().fit(X_train, y_train) - b.分析
优缺点：没有参数，但无法控制模型的复杂度
过拟合风险小，高维数据集强大
- a.基本操作
- C.岭回归
- a.基本操作
from sklearn.linear_model import Ridge ridge = Ridge().fit(X_train, y_train) - b.参数
- 限制系数α
数值越大对系数w限制越大（使其趋于零）
增大α会降低训练集性能但可能提高泛化性能
- 限制系数α
- c.分析
岭回归是L1正则化的（训练分数整体低于线性回归）
少量数据集分数高，数据多时岭回归和线性回归可能有同样的性能（正则化变得不那么重要）
- a.基本操作
- D.lasso
- a.基本操作
from sklearn.linear_model import Lasso lasso = Lasso().fit(X_train, y_train) - b.参数
- 限制系数α
数值减小可以拟合更复杂的模型
太小会消除正则化的效果
- 限制系数α
- c.分析
lasso是L2正则化的
更容易解释（只选择了一部分输入特征，α较大时大部分系数都是零）
sklearn中ElasticNet结合lasso和Ridge的惩罚项
- a.基本操作
- A.概述
- 2）用于分类的线性模型
- A.概述
根据函数值正负分类（分类的线性模型决策边界是输入的线性函数）
学习线性模型算法的区别
系数和截距的特定组合对训练数据拟合度好坏的度量方法（损失函数的选择）
是否使用正则化，以及使用哪种正则化方法 - B.Logisitic回归\线性支持向量机（线性SVM）
- a.基本操作
from sklearn.linear_model import LogisticRegression clf = LogisticRegression().fit(X, y) from sklearn.svm import LinearSVC clf = LinearSVC().fit(X, y) - b.参数
- 权衡参数C
C的值越大，对应正则化越弱（拟合度提高）
较小的C值适应大多数数据点，较大的C值强调每个数据点都正确分类
- 权衡参数C
- a.基本操作
- A.概述
- 3）用于多分类的线性模型
- A.概述
对每个类别都学习一个二分类模型
测试点上运行所有二分类器预测，对应类别分数最高胜出
- A.概述
3、朴素贝叶斯分类器
- 1）特点
训练速度快，但泛化性能比线性模型差
通过单独查看每个特征来学习参数 - 2）分类
- A.GaussianNB
可应用于任意连续数据，主要用于高维数据 - B.BernoulliNB
假定输入数据为二分类数据（适于文本分类）
参数α：控制复杂度（越大平滑化越强，模型复杂度越低）
广泛用于稀疏计数数据 - C.MultinomialNB
假定输入数据为计数数据（适于文本分类）
参数α：同理
广泛用于稀疏计数数据
- A.GaussianNB
4、决策树与决策树集成
- 1）决策树概述
- A.构造树原理：学习if-else问题（测试）
- B.控制决策树复杂度（防止过拟合策略）
预剪枝：及早停止树的生长（限制条件：最大深度、叶节点最大数、一个节点数据最小数目[防止继续划分]）
后剪枝：构造完后删除或折叠信息量很少的节点
- 2）分类
- A.决策树（分类）
- a.具体操作
from sklearn.tree import DecisionTreeClassifier tree = DecisionTreeClassifier(max_depth=4,random_state=0) tree.fit(X_train, y_train) - b.参数
- max_depth：限制树的深度（只可连续问的问题数）
- max_leaf_nodes
- min_samples_leaf
- c.分析
- 查看特征重要性（每个特征对树决策的重要性）
print("Feature importances:\n{}".format(tree.feature_importances_)) - 特征重要性可视化（核心代码）
n_features = cancer.data.shape[1] plt.barh(range(n_features), model.feature_importances_, align='center') plt.yticks(np.arange(n_features), cancer.feature_names) - 优缺点
模型容易可视化理解
算法完全不受数据缩放影响（预处理时无需归一化或标准化）
- 查看特征重要性（每个特征对树决策的重要性）
- a.具体操作
- B.决策树（回归）
- a.具体操作
from sklearn.tree import DecisionTreeRegressor tree = DecisionTreeRegressor().fit(X_train, y_train)- b.特点
不能外推，不能再训练数据范围之外预测
其余与分类同理
- C.随机森林
- a.具体操作
from sklearn.ensemble import RandomForestClassifier forest = RandomForestClassifier(n_estimators=5, random_state=2) forest.fit(X_train, y_train) - b.参数
- n_jobs：使用内核数量
- random_state：需要结果可重现时需固定此参数
- n_estimators：在时间/内存允许的情况下尽量多
- max_features：决定每棵树的随机性大小，较小的值可以降低过拟合（一般来说分类设为sqrt(n_feature)，回归设为n_feature）
- max_depth、max_leaf_nodes等
- c.分析
最广泛方法（一般无需反复调参，也无需对数据进行缩放）
高维稀疏数据表现不好（如文本）
- a.具体操作
- D.梯度提升回归树（梯度提升机）
- a.具体操作
from sklearn.ensemble import GradientBoostingClassifier gbrt = GradientBoostingClassifier(random_state=0) gbrt.fit(X_train, y_train) - b.参数
- 含有随机森林所有参数（但此处过大的n_estimators可能导致过拟合，梯度提升的max_depth一般不超过5）
- learning_rate：学习率，纠正前一棵树错误的强度（降低学习率可能可以提高泛化性能）
- c.分析
采用连续的方式构造树，默认强预剪枝而非随机化
梯度提升思想：合并许多简单的模型（弱学习器：深度较小的树）
对参数设置更为敏感（但正确的参数会使得精度更高）
- a.具体操作
- A.决策树（分类）
5、核支持向量机
- 1）基本操作
from sklearn.svm import LinearSVC linear_svm = LinearSVC().fit(X, y) - 2）核技巧
- 核技巧：添加特征在更高维空间中学习分类器，而不需计算非常大的数据表示
- 原理：直接计算扩展特征表示中数据点之间的距离（内积）
- 分类
多项式核：一定阶数内计算原始特征所有可能的多项式
高斯核：无限阶可能的多项式（阶数越高重要性越小） - 支持向量
定义：位于类别之间边界上的点（对于定义决策边界很重要）
分类决策：基于与支持向量的距离以及训练过程中学到的支持向量的重要性
- 3）参数
- gamma：高斯核宽度（点与点“靠近”是多大距离），值越大模型越复杂，决策边界更加关注单个点
- C：正则化参数（限制每个点的重要性），也是越大越复杂，两个参数一般同时调节
- 4）SVM特点
- 对参数设定和数据缩放非常敏感
min_on_training=X_train.min(axis=0) range_on_training=(X_train-min_on_training).max(axis=0) X_train_scaled=(X_train-min_on_training)/range_on_training - 数据量十万以上时运行时空需求大
- 对参数设定和数据缩放非常敏感
6、神经网络（深度学习）
- 1）基本操作（多层感知机 MLP）
from sklearn.neural_network import MLPClassifier mlp = MLPClassifier(solver='lbfgs', random_state=0).fit(X_train, y_train) - 2）参数
- hidden_layer_sizes
层数和单元，如[10,10]表示两层每层十个单元
单一隐层时决策边界由隐单元个数的直线段组成
更加平滑的边界：更多隐层和隐单元 - activation：非线性函数（relu默认，tanh更平滑）
- alpha：L2惩罚参数，默认值很小（弱正则化）
- solver：如何学习模型，默认’adam’（lbfgs：鲁棒性好，但大数据集时间长；sgd：更专业，包含其他参数）
- hidden_layer_sizes
- 3）特点
需要长时间训练和预处理数据
特征具有相似含义的数据集上效果最好（特征种类很不同基于树的模型更好）
三、不确定估计
1、决策函数
- 1）使用方法
model.decision_function(X_test) #二分类时返回形状（n_samples,），为每一个样本返回一个浮点数 - 2）分析
值表示置信程度，正值偏正类，负值偏反类（其他类）
2、预测概率
- 1）使用方法
model.perdict_proba(X_test) #二分类时返回（n_samples,2），分别为第一个元素概率和第二个元素概率
3、多分类问题的不确定度
多分类问题的decision_function和perdict_proba形状都是（n_samples，n_classes）
第三章 无监督学习与预处理
一、预处理与缩放
1、不同类型的预处理
- 1）StandardScaler：确保每个特征平均值为零、方差为一
- 2）RobustScaler：与前者相似，但针对中位数和四分位数（会忽略异常值）
- 3）MinMaxScaler：移动数据使所有特征在零一之间（二位数据位于xy的零一矩形中）
- 4）Normalizer：对每个数据点缩放使特征向量的欧式长度等于一（投射到半径为1的圆/球面…上，适用于数据方向重要而特征向量长度不重要的缩放）
2、应用数据变换
- 1）操作方法
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
scaler.fit(X_train)#与分类器和回归器不同，这里fit只用X_train而不用y_train
X_train_scaled = scaler.transform(X_train)#应用刚刚学到的变换
X_test_scaled = scaler.transform(X_test)#这样同时缩放训练和测试数据，而不是分开fit再transform
- 2）更为高效的方法：fit_transform方法链
from sklearn.preprocessing import StandardScaler scaler=StandardScaler() X_scaled_d=scaler.fit_transform(X)
二、降维、特征提取与流形学习
1、主成分分析
- 1）概述
旋转数据集的方法，旋转后的特征在统计上不相关
主成分：包含信息最多的方向（数据方差的主要方向）
主成分个数与原始特征数相同，可以通过仅保留一部分主成分来使用PCA进行降维 - 2）主成分提取
- A.可视化技巧（二分类）：对每个特征分别计算两个类别的直方图（以三十个特征为例）
fig, axes = plt.subplots(15, 2, figsize=(10, 20)) #axes是一个包含subplots对象的numpy数组，可以用调用数组元素的方式对subplot进行索引 malignant = cancer.data[cancer.target == 0] benign = cancer.data[cancer.target == 1] ax = axes.ravel() #ravel()变为一维数组，行序优先 for i in range(30): _, bins = np.histogram(cancer.data[:, i], bins=50) ax[i].hist(malignant[:, i], bins=bins, color=mglearn.cm3(0), alpha=.5) ax[i].hist(benign[:, i], bins=bins, color=mglearn.cm3(2), alpha=.5) ax[i].set_title(cancer.feature_names[i]) ax[i].set_yticks(()) ax[0].set_xlabel("Feature magnitude") ax[0].set_ylabel("Frequency") ax[0].legend(["malignant", "benign"], loc="best") fig.tight_layout() - B.具体操作
- a.基本方法
from sklearn.decomposition import PCA pca = PCA(n_components=2) pca.fit(X_scaled) X_pca = pca.transform(X_scaled) - b.参数
- n_components：提取主成分个数
- whiten：白化，将主成分缩放到相同尺度（如使用像素距离时，避免人脸位移对于人脸识别的影响）
- a.基本方法
- A.可视化技巧（二分类）：对每个特征分别计算两个类别的直方图（以三十个特征为例）
2、非负矩阵分解（NMF）
- 1）概述
工作原理类似PCA，可用于降维
PCA中要正交分量，并且解释尽可能多的方差；而NMF中希望分量和系数均为非负
NMF得到的分量更容易解释（非负减少抵消效应） - 2）具体操作
from sklearn.decomposition import NMF nmf = NMF(n_components=15, random_state=0) nmf.fit(X_train) X_train_nmf = nmf.transform(X_train) X_test_nmf = nmf.transform(X_test)
3、用t-SNE进行流形学习
- 1）概述
主要用处：探索性数据分析（制作可视化，而不是训练数据）
思想：找到数据的一个二维表示，尽可能保持数据点之间的距离（终点关注距离较近的点） - 2）具体操作
from sklearn.manifold import TSNE tsne = TSNE(random_state=42) digits_tsne = tsne.fit_transform(digits.data) #由于t-SNE不支持变换新数据，因此没有transform方法
三、聚类
1、k均值聚类
- 1）原理
目标：找到代表数据特定区域的簇中心
过程：交替将每个数据点分配给最近的中心，再将中心设置为所分配的所有数据点的平均值 - 2）具体操作
from sklearn.cluster import KMeans X, y = make_blobs(random_state=1) kmeans = KMeans(n_clusters=3) kmeans.fit(X) - 3）参数及属性
- cluster_centers_属性：保存簇中心
- kmeans.labels_属性：保存每个训练数据点的标签
- n_clusters：簇中心个数
- 4）失败案例：簇密度不同、非球形簇、复杂形状簇
2、凝聚聚类
- 1）原理
- 原则：算法声明每个点是自己的簇，然后合并两个最相似的簇，直到满足某种停止准则
- 链接准则：规定如何度量最相似的簇
- ward：默认选项，合并后方程增加最小
- average：所有点之间平均距离最小的两个簇合并
- complete：最大链接：将簇中点之间最大距离最小的两个簇合并
- 2）具体操作
from sklearn.cluster import AgglomerativeClustering agg = AgglomerativeClustering(n_clusters=3) assignment = agg.fit_predict(X) #没有perdict方法，为了构造模型并得到训练集上簇的成员关系可以用fit_predict方法
3、DBSCAN（具有噪声的基于密度的空间聚类应用）
- 1）原理及特点
不需要先验地设置簇的个数，还可以找出不属于任何簇的点
原理：识别空间中拥挤区域的点（dense zone，其中的点成为核心样本）
参数：min_sample、eps（若距一个数据点eps距离内至少有min_samples个数据点，就是核心样本）
分配在簇的eps内没有更多核心样本时停止 - 2）具体操作
from sklearn.cluster import DBSCAN dbscan = DBSCAN() clusters = dbscan.fit_predict(X)
4、聚类算法的对比与评估
- 1）用真实值评估聚类
- A.指标（最佳值为1，0表示不相关聚类）
调整rand指数（ARI）
归一化信息（NMI） - B.具体操作
from sklearn.metrics.cluster import adjusted_rand_score algorithms = [KMeans(n_clusters=2), AgglomerativeClustering(n_clusters=2),DBSCAN()] clusters = algorithm.fit_predict(X_scaled) #此处放在for语句中实现 print(adjusted_rand_score(y, clusters))
- A.指标（最佳值为1，0表示不相关聚类）
- 2）没有真实值情况评估聚类
- A.轮廓系数
计算一个簇的紧致程度，值越大越好（最大值为1）
不允许复杂的形状 - B.具体操作
from sklearn.metrics.cluster import silhouette_score #其余操作同上
- A.轮廓系数
- 3）小结
聚类的应用与评估->定性过程
k均值：指定簇数，平均值表示簇
DBSCAN：接近程度、检测噪声点、判断簇数量
凝聚聚类：指定簇数、划分层次
5426
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
