02_d2-分类算法概述
知识架构
### 1.数据集
- 机器学习一般的数据集会划分为两个部分:
- 训练数据:用于训练,构建模型
- 测试数据:在模型检验时使用,用于评估模型是否有效
- API: sklearn.model_selection.train_test_split
- scikit-learn数据集API介绍
- sklearn.datasets
- 加载获取流行数据集
- datasets.load_*()
- 获取小规模数据集,数据包含在datasets里
- datasets.fetch_*(data_home=None)
- 获取大规模数据集,需要从网络上下载,函数的第一个参数是data_home,表示数据集下载的目录,默认是 ~/scikit_learn_data/
- 获取数据集返回的类型
-
load和fetch返回的数据类型 datasets.base.Bunch(字典格式)
-
data:特征数据数组,是[n_samples * n_features] 的二维 numpy.ndarray 数组
-
target:标签数组,是n_samples 的一维 numpy.ndarray 数组
-
DESCR:数据描述
-
feature_names:特征名,新闻数据,手写数字、回归数据集没有
-
target_names:标签名
-
-
- sklearn分类数据集
- sklearn.datasets.load_iris()
- 加载并返回鸢尾花数据集
- sklearn.datasets.load_iris()
![image.png](https://img-blog.csdnimg.cn/img_convert/26f33124c8357d10a250affea4c70ecb.png#align=left&display=inline&height=71&margin=[object Object]&name=image.png&originHeight=142&originWidth=527&size=13935&status=done&style=none&width=263.5)
- sklearn.datasets.load_digits()
- 加载并返回数字数据集
![image.png](https://img-blog.csdnimg.cn/img_convert/0b850dae4ac58399f7256327a4645801.png#align=left&display=inline&height=61&margin=[object Object]&name=image.png&originHeight=123&originWidth=538&size=9996&status=done&style=none&width=269)
- 数据集进行分割
-
sklearn.model_selection.train_test_split(*arrays, **options)
- x 数据集的特征值
- y 数据集的标签值
- test_size 测试集的大小,一般为float 一般是8:2 或者 7:3
- random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
- return 训练集特征值,测试集特征值,训练标签,测试标签(默认随机取)
-
- 用于分类的大数据集
-
sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
- subset: ‘train’或者’test’,‘all’,可选,选择要加载的数据集.训练集的“训练”,测试集的“测
试”,两者的“全部”
- subset: ‘train’或者’test’,‘all’,可选,选择要加载的数据集.训练集的“训练”,测试集的“测
-
datasets.clear_data_home(data_home=None)
- 清除目录下的数据
-
- sklearn回归数据集
- sklearn.datasets.load_boston()
- 加载并返回波士顿房价数据集
- sklearn.datasets.load_boston()
![image.png](https://img-blog.csdnimg.cn/img_convert/ec1be524a9262b8ecb9e5fdcaf963088.png#align=left&display=inline&height=62&margin=[object Object]&name=image.png&originHeight=123&originWidth=582&size=11062&status=done&style=none&width=291)
- sklearn.datasets.load_diabetes()
- 加载和返回糖尿病数据集
![image.png](https://img-blog.csdnimg.cn/img_convert/52500725b19b4c73643b5dfa243ca2e6.png#align=left&display=inline&height=63&margin=[object Object]&name=image.png&originHeight=126&originWidth=583&size=11742&status=done&style=none&width=291.5)
2.scikit-learn预估器流程
想一下之前做的特征工程的步骤?
1、实例化 (实例化的是一个转换器类(Transformer))
2、调用fit_transform(对于文档建立分类词频矩阵,不能同时调用)
![image.png](https://img-blog.csdnimg.cn/img_convert/e19d0eb30d97c21632491065ac0af947.png#align=left&display=inline&height=110&margin=[object Object]&name=image.png&originHeight=149&originWidth=587&size=17613&status=done&style=none&width=432)
1. sklearn机器学习算法的实现-估计器
- 在sklearn中,估计器(estimator)是一个重要的角色,分类器和回归器都属于estimator,是一类实现了算法的API
- 1、用于分类的估计器:
- **sklearn.neighbors **k-近邻算法
- **sklearn.naive_bayes **贝叶斯
- **sklearn.linear_model.LogisticRegression **逻辑回归
- **sklearn.tree **决策树与随机森林
- 2、用于回归的估计器:
- **sklearn.linear_model.LinearRegression **线性回归
- sklearn.linear_model.Ridge 岭回归
2. 估计器的工作流程
![image.png](https://img-blog.csdnimg.cn/img_convert/229bfc4237ffef1fac81c9334ec3a429.png#align=left&display=inline&height=339&margin=[object Object]&name=image.png&originHeight=367&originWidth=424&size=36409&status=done&style=none&width=392)
3. 分类算法的判定依据?
根据输出的值是否是离散型的
3.k-近邻算法
- 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
- 来源:KNN算法最早是由Cover和Hart提出的一种分类算法
1. 计算距离公式
- 两个样本的距离可以通过如下公式计算,又叫欧式距离 比如说,a(a1,a2,a3),b(b1,b2,b3)
- ![image.png](https://img-blog.csdnimg.cn/img_convert/2ca4c340e0bd0d6f827a3725af0689a4.png#align=left&display=inline&height=33&margin=[object Object]&name=image.png&originHeight=66&originWidth=544&size=16362&status=done&style=none&width=272)
2. sklearn k-近邻算法API
- sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
- n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数3.
- algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’将会使用 BallTree,‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。(不同实现方式影响效率)
3. 实例流程
- 数据集的处理
- 分割数据集
- 对数据集进行标准化
- estimator流程进行分类预测
4. 问题:
- 1.k值取多大?有什么影响?
- k值取很小:容易受噪声影响
- k值取很大:容易受数量的影响
- k值有可能导致无法得到结果
- 2、性能问题?
5. k-近邻算法优缺点
- 优点:
- 简单,易于理解,易于实现,无需估计参数,无需训练
- 缺点:
- 懒惰算法,对测试样本分类时的计算量大,内存开销大
- 必须指定K值,K值选择不当则分类精度不能保证
- 使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试
6. k-近邻算法实现
- 加快搜索速度——基于算法的改进KDTree,API接口里面有实现
- k近邻算法作业
4.分类性指标
分类模型的评估
- estimator.score()
- 一般最常见使用的是准确率,即预测结果正确的百分比
1. 混淆矩阵
- 在分类任务下,预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合,构成混淆矩阵(适用于多分类)
![image.png](https://img-blog.csdnimg.cn/img_convert/14f5f4cdc670b3e0bd732632003c7a98.png#align=left&display=inline&height=183&margin=[object Object]&name=image.png&originHeight=347&originWidth=638&size=45386&status=done&style=none&width=336)
2. 精确率(Precision)与召回率(Recall)
-
精确率:预测结果为正例样本中真实为正例的比例(查得准)
-
召回率:真实为正例的样本中预测结果为正例的比例(查的全,对正样本的区分能力)
假设我们手上有60个正样本,40个负样本,我们要找出所有的正样本,系统查找出50个正样本,其中只有40个是真正的正样本,计算上述各指标 -
TP: 将正类预测为正类数 40
FN: 将正类预测为负类数 20
FP: 将负类预测为正类数 10
TN: 将负类预测为负类数 30
- 准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%精确率(precision) = TP/(TP+FP) = 80%召回率(recall) = TP/(TP+FN) = 2/3
预测为猫 | 预测不是猫 | |
---|---|---|
真实为猫 | 真正例TP | 伪反例FN |
真实不为猫 | 伪正例FP | 真反例TN |
3. 其他分类标准,F1-score,反映了模型的稳健型
![image.png](https://img-blog.csdnimg.cn/img_convert/6ff12e0355ace9c95ef867226698936e.png#align=left&display=inline&height=99&margin=[object Object]&name=image.png&originHeight=99&originWidth=559&size=20410&status=done&style=none&width=559)
为什么会有这么多指标呢?** 这是因为模式分类和机器学习的需要。判断一个分类器对所用样本的分类能力或者在不同的应用场合时,
需要有不同的指标。 当总共有个100 个样本(P+N=100)时,假如只有一个正例(P=1),
那么只考虑精确度的话,不需要进行任何模型的训练,直接将所有测试样本判为正例,
那么A 能达到99%,非常高了,但这并没有反映出模型真正的能力。另外在统计信号分析中,
对不同类的判断结果的错误的惩罚是不一样的。举例而言,雷达收到100个来袭 导弹的信号,
其中只有3个是真正的导弹信号,其余97 个是敌方模拟的导弹信号。假如系统判断98 个
(97个模拟信号加一个真正的导弹信号)信号都是模拟信号,那么Accuracy=98%,
很高了,剩下两个是导弹信号,被截掉,这时Recall=2/3=66.67%,
Precision=2/2=100%,Precision也很高。但剩下的那颗导弹就会造成灾害。
因此在统计信号分析中,有另外两个指标来衡量分类器错误判断的后果:**漏警概率(Missing Alarm)MA = FN/(TP + FN) = 1 – TP/T = 1 - R; 反映有多少个正例被漏判了
(我们这里就是真正的导弹信号被判断为模拟信号,可见MA此时为33.33%,太高了)
虚警概率(False Alarm)FA = FP / (TP + FP) = 1 – P;反映被判为正例样本中,有多少个是负例。
统计信号分析中,希望上述的两个错误概率尽量小。而对分类器的总的惩罚旧
是上面两种错误分别加上惩罚因子的和:COST = CmaMA + Cfa FA。
不同的场合、需要下,对不同的错误的惩罚也不一样的。像这里,我们自然希望对漏警的惩罚大,
因此它的惩罚因子Cma要大些。
4. 分类模型评估API
-
sklearn.metrics.classification_report
-
sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
-
y_true:真实目标值
-
y_pred:估计器预测目标值
-
target_names:目标类别名称
-
return:每个类别精确率与召回率
-
5. 模型的选择与调优
1. 交叉验证
2. 网格搜索
5.朴素贝叶斯算法
1、概率基础
2、朴素贝叶斯介绍
1. 概率基础
- 定义:概率定义为一件事情发生的可能性
- 扔出一个硬币,结果头像朝上
- 某天是晴天
- 联合概率:包含多个条件,且所有条件同时成立的概率
- 记作:P(A,B)
- P(A, B) = P(A)P(B) - 条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率
- 记作:P(A|B)
- 特性:P(A1,A2|B) = P(A1|B)*P(A2|B)
- 注意:此条件概率的成立,是由于A1,A2相互独立的结果
2.朴素贝叶斯-贝叶斯公式
![image.png](https://img-blog.csdnimg.cn/img_convert/16fe1ac5cf688381cffae38d01d45266.png#align=left&display=inline&height=43&margin=[object Object]&name=image.png&originHeight=86&originWidth=336&size=16072&status=done&style=none&width=168)
- 注:w为给定文档的特征值(频数统计,预测文档提供),c为文档类别
- 公式可以理解为:
![image.png](https://img-blog.csdnimg.cn/img_convert/f508aa5fcd9328e878b9e7fd7f27a2c5.png#align=left&display=inline&height=39&margin=[object Object]&name=image.png&originHeight=78&originWidth=508&size=21110&status=done&style=none&width=254)
- 其中c可以是不同类别
公式分为三个部分:
- P©:每个文档类别的概率(某文档类别数/总文档数量)
- P(W│C):给定类别下特征(被预测文档中出现的词)的概率
- 计算方法:P(F1│C)=Ni/N (训练文档中去计算)
- Ni为该F1词在C类别所有文档中出现的次数
- N为所属类别C下的文档所有词出现的次数和
- P(F1,F2,…) 预测文档中每个词的概率
3. 拉普拉斯平滑
- 问题:从上面的例子我们得到娱乐概率为0,这是不合理的,如果词频列表里面有很多出现次数都为0,很可能计算结果都为零
- 解决方法:拉普拉斯平滑系数
- P(F1│C)=(Ni+α)/(N+αm)
- α为指定的系数一般为1,m为训练文档中统计出的特征词个数
4. sklearn朴素贝叶斯实现API
- sklearn.naive_bayes.MultinomialNB
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
- 朴素贝叶斯分类
- alpha:拉普拉斯平滑系数
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
5. 朴素贝叶斯算法案例
6.朴素贝叶斯分类优缺点
- 优点:
- 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
- 对缺失数据不太敏感,算法也比较简单,常用于文本分类。
- 分类准确度高,速度快
- 缺点:
- 由于使用了样本属性独立性的假设,所以如果样本属性有关联时其效果不好
6.交叉验证与网格搜索
1. 交叉验证
- 交叉验证:为了让被评估的模型更加准确可信
- 交叉验证过程:
交叉验证:将拿到的训练数据,分为训练和验证集。以下图为例:将数据分成5份,其中一份作为验证集。然后经过5次(组)的测试,每次都更换不同的验证集。即得到5组模型的结果,取平均值作为最终结果。又称5折交叉验证。
![image.png](https://img-blog.csdnimg.cn/img_convert/773c73711b16d1ca7ea0c146d4089cf6.png#align=left&display=inline&height=235&margin=[object Object]&name=image.png&originHeight=235&originWidth=728&size=22239&status=done&style=none&width=728)
2. 超参数搜索-网格搜索
-
通常情况下,有很多参数是需要手动指定的(如k-近邻算法中的K值),这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
| K值 | K=3 | K=5 | K=7 |
| — | — | — | — |
| 模型 | 模型1 | 模型2 | 模型3 | -
超参数搜索-网格搜索API
- sklearn.model_selection.GridSearchCV
- sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
-
对估计器的指定参数值进行详尽搜索
-
estimator:估计器对象
-
param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}
-
cv:指定几折交叉验证
-
fit:输入训练数据
-
score:准确率
-
结果分析:
-
best_score_:在交叉验证中验证的最好结果
-
best_estimator_:最好的参数模型
-
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果
-
-
K-近邻网格搜索案例
- 将前面的k-近邻算法案例改成网格搜索
7.决策树
1. 决策树
- 认识决策树
- 信息论基础-银行贷款分析
- 决策树的生成
- 泰坦尼克号乘客生存分类
- 认识决策树
- 决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法
![image.png](https://img-blog.csdnimg.cn/img_convert/604e0eaefaaa85f1bfa7548bbb8f9570.png#align=left&display=inline&height=292&margin=[object Object]&name=image.png&originHeight=292&originWidth=536&size=56943&status=done&style=none&width=536)
- 决策树的实际划分
![image.png](https://img-blog.csdnimg.cn/img_convert/837f136dbaac7325ebff073c8c6f2e13.png#align=left&display=inline&height=506&margin=[object Object]&name=image.png&originHeight=506&originWidth=498&size=68534&status=done&style=none&width=498) - 信息的度量和作用
![image.png](https://img-blog.csdnimg.cn/img_convert/25cb763129a4882b3e9996b14cc6494d.png#align=left&display=inline&height=420&margin=[object Object]&name=image.png&originHeight=420&originWidth=720&size=97262&status=done&style=none&width=720)
2. 信息熵
-
“谁是世界杯冠军”的信息量应该比5比特。香农指出,它的准确信息量应该是:
- H = -(p1logp1 + p2logp2 + … + p32log32)
- -1/32 * log1/32 + 1/32 * log1/32 +… = 5比特
- 已知德国夺冠军的概率是 1/5 à 信息熵 3个比特,
- 已经德国夺冠的概率相对应的信息增益 2个比特
-
H的专业术语称之为信息熵,单位为比特。
-
公式:
- ![image.png](https://img-blog.csdnimg.cn/img_convert/84dfc625cd14256312a922992aec5f04.png#align=left&display=inline&height=64&margin=[object Object]&name=image.png&originHeight=64&originWidth=349&size=6450&status=done&style=none&width=349)
-
当这32支球队夺冠的几率相同时,对应的信息熵等于5比特
信息和消除不确定性是相联系的
3. 信息增益
-
决策树的划分依据之一-信息增益
-
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,即公式为:
![image.png](https://img-blog.csdnimg.cn/img_convert/87e74e94fad9aa4fcf1c2ea5291f78f5.png#align=left&display=inline&height=78&margin=[object Object]&name=image.png&originHeight=78&originWidth=408&size=8500&status=done&style=none&width=408) -
注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
-
信息增益的计算:
- 结合前面的贷款数据来看我们的公式:
- 信息熵的计算:
![image.png](https://img-blog.csdnimg.cn/img_convert/1295e2365e06648d1a5a63cce77c3078.png#align=left&display=inline&height=140&margin=[object Object]&name=image.png&originHeight=140&originWidth=487&size=18325&status=done&style=none&width=487) - 条件熵的计算:
![image.png](https://img-blog.csdnimg.cn/img_convert/ebfd9b9ed6350dbd48dbbe180210737c.png#align=left&display=inline&height=110&margin=[object Object]&name=image.png&originHeight=110&originWidth=720&size=29461&status=done&style=none&width=720)- 注:Ck 表示属于某个类别的样本数
![image.png](https://img-blog.csdnimg.cn/img_convert/b1c3b8eb26859fc89e014431c9506184.png#align=left&display=inline&height=375&margin=[object Object]&name=image.png&originHeight=467&originWidth=829&size=133723&status=done&style=none&width=665)
- 常见决策树使用的算法:
- ID3
- 信息增益 最大的准则
- C4.5
- 信息增益比 最大的准则
- CART
- 回归树: 平方误差 最小
- 分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则
- ID3
![image.png](https://img-blog.csdnimg.cn/img_convert/030926277ad717f06ef9cf45b2f79f47.png#align=left&display=inline&height=157&margin=[object Object]&name=image.png&originHeight=157&originWidth=674&size=78003&status=done&style=none&width=674)
https://www.cnblogs.com/pinard/p/6053344.html
4. sklearn决策树API
- _class _sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
-
决策树分类器
-
criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
-
max_depth:树的深度大小
-
random_state:随机数种子
-
method:
-
decision_path:返回决策树的路径
-
案例:
泰坦尼克号数据
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息,但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单,由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别,存活,乘坐班,年龄,登陆,home.dest,房间,票,船和性别。乘坐班是指乘客班(1,2,3),是社会经济阶层的代表。
其中age数据存在缺失。
![image.png](https://img-blog.csdnimg.cn/img_convert/34b71eb618094b27d3068a450e030e5d.png#align=left&display=inline&height=226&margin=[object Object]&name=image.png&originHeight=226&originWidth=897&size=211599&status=done&style=none&width=897)
数据:http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt
5. 泰坦尼克号乘客生存分类模型
1、pd读取数据
2、选择有影响的特征,处理缺失值
3、进行特征工程,pd转换字典,特征抽取
x_train.to_dict(orient=“records”)
4、决策树估计器流程
6. 决策树的结构、本地保存
- sklearn.tree.export_graphviz() 该函数能够导出DOT格式
- tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
- 工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz Mac:brewinstall graphviz
- 运行命令
然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png
7. 决策树的优缺点以及改进
- 优点:
- 简单的理解和解释,树木可视化。
- 需要很少的数据准备,其他技术通常需要数据归一化
- 缺点:
- 决策树学习者可以创建不能很好地推广数据的过于复杂的树, 这被称为过拟合。
- 改进:
- 减枝cart算法
- 随机森林
注:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多。
8. 随机森林
- 集成学习方法-随机森林
1、什么是随机森林
2、随机森林的过程、优势
4、泰坦尼克号乘客生存分类分析
1. 集成学习方法
- 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。
2. 什么是随机森林:
- 定义:在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
- 学习算法
-
根据下列算法而建造每棵树:
-
用N来表示训练用例(样本)的个数,M表示特征数目。
-
一次随机选出一个样本,重复N次, (有可能出现重复的样本)
-
随机去选出m个特征, m <<M,建立决策树
-
采取bootstrap抽样
-
- 为什么要随机抽样训练集?
- 如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的
- 为什么要有放回地抽样?
- 如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是绝对“片面的”(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。
3. 集成学习API
- class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)
- 随机森林分类器
- n_estimators:integer,optional(default = 10) 森林里的树木数量
- criteria:string,可选(default =“gini”)分割特征的测量方法
- max_depth:integer或None,可选(默认=无)树的最大深度
- bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样
4. 随机森林的优点
- 在当前所有算法中,具有极好的准确率
- 能够有效地运行在大数据集上
- 能够处理具有高维特征的输入样本,而且不需要降维
- 能够评估各个特征在分类问题上的重要性