Python机器学习及实践 知识总结

机器学习中的监督学习的任务重点在于，根据已有的经验知识对未知样本的目标/标记进行预测。

根据目标预测变量的类型不同，我们把监督学习的任务大体分为分类学习与回归预测两类。

监督学习

任务的基本架构流程：1首先准备训练数据 可以是文本 图像 音频等；2然后抽取所需要的特征，形成特征向量；3接着，把这些特征向量连同对应的标记/目标一并送入学习算法中，训练出一个预测模型；4然后，采用同样的特征方法作用于新的测试数据，得到用于测试的数据的特征向量；5最后，使用预测模型对这些待预测的特征向量进行预测并得到结果。

分类学习（二分类 多类分类 多标签分类（判断一个样本是否同时属于多个不同类别））

线性分类器 假设特征与分类结果存在线性关系的模型  通过计算每个维度的特征与各自权重的乘积来帮助类别决策。

①f=wx+b（向量表示形式）

二分类问题希望f∈{0，1} 因此需要一个函数把先得到的f∈R映射到（0，1）于是我们想到了②Logistic函数

整合①②我们得到经典的线性分类器模型行Logistic Regression

一种快速估计的算法 随机梯度上升法

sklearn中

Logistic Regression中解析参数的方式为精确计算 SGDClasifier解析参数的方式为梯度法估计

前者计算时间长 模型的性能高 后者相反

10万量机以上的数据 考虑到用时 建议用后者

支持向量机(分类) 原理：根据训练样本的分布，搜索所有可能的线性分类器中最佳的那个。

我们把可以用来真正帮助决策最优线性分类模型的数据点叫做“支持向量”（二维特征中 两个空间间隔最小的两个不同类别的数据的数据点）

朴素贝叶斯 构造基础是贝叶斯理论

抽象来说朴素贝叶斯分类器会单独思考每一维度特征被分类的条件概率，进而综合这些概率并对其所在的特征向量做出分类预测，因此，这个模型的数学基本假设是：各个维度特征被分类的条件概率之间是相互独立的