Python机器学习笔记（三）：监督学习

 

大一暑假学习热情颇高却又贪多求快，囫囵吞枣地花了几天刷了一遍Python机器学习入门课程，很快就什么都不记得了。之后一年半多，也没有什么需要用到机器学习的地方，加上断断续续学了C++，连Python语法都快忘光了。

时隔近两年，这个blog要重新更新了。这次会在三周内更新完Python机器学习的内容，再花三个月左右的时间另起blog，更新吴恩达机器学习课程笔记和深度学习基础部分。希望Flag不倒！

注：本blog经过整理、简化，以便我自己复习和查找。下面这篇Blog课程笔记copy的比较全，可供听课时参考（以节约笔记时间）https://blog.csdn.net/linzch3/article/details/76098501

 

使用fit() 函数，对训练数据构成的特征X 和标签 y进行训练，调用 predict() 函数，对未知分类样本分类。

 

K-近邻算法（KNN）

计算待分类数据点与已有数据集中所有数据点的距离。取距离最小的前K个点，将这个数据点划分为出现次数最多的那个类别。K较大易导致预测错误，K较小会导致过拟合：一般情况下，K 会倾向选取较小的值，并使用交叉验证法选取最优 K 值。

 

 

决策树

决策树是一种树形结构的分类器，通过顺序询问分类点的属性决定分类点最终的类别。决策树本质上是寻找一种对特征空间上的划分，旨在构建一个训练数据拟合的好，并且复杂度小的决策树。

 

 

朴素贝叶斯

朴素贝叶斯是典型的生成学习方法，由训练数据学习联合概率分布，并求后验概率分布.朴素贝叶斯一般在小规模数据上的表现很好，适合进行多分类任务。

 

from sklearn.neighbors import KNeighborsClassifier

from sklearn.tree import DecisionTreeClassifier

from sklearn.naive_bayes import GaussianNB

 

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

 

线性回归

使用形如y=wTx+b的线性模型拟合数据输入和输出之间的映射关系。

 

from sklearn.linear_model import LinearRegression

 

 

多项式回归(PolynomialRegression)

是研究一个因变量与一个或多个自变量间多项式的回归分析方法。如果自变量只有一个

时，称为一元多项式回归；如果自变量有多个时，称为多元多项式回归。

 

from sklearn.preprocessing import PolynomialFeatures

 

岭回归(ridgeregression)

岭回归的优化目标：

岭回归是一种专用于共线性数据分析的有偏估计回归方法，是一种改良的最小二乘估计法，对某些数据的拟合要强于最小二乘法。

 

from sklearn.linear_model import Ridge

from sklearn.preprocessing import PolynomialFeatures

 

 

 

多层感知机（Multilayerperceptron，MLP）

一个简单的全连接神经网络。MLP输出为one-hotvectors：一个one-hot向量除了某一位的数字是1以外其余各维度数字都是0。

 

from sklearn.neural_network import MLPClassifier