^果冻^-CSDN博客

原创机器学习——第七章利用AdaBoost元算法提高分类性能

元算法是对其他算法进行组合的一种方式，本章我们会学习到不同分类器的集成方法，然后主要关注boosting方法及其代表分类器AdaBoost，然后我们会建立一个单层决策树的分类器，还会讨论非均衡类问题。集成方法通过组合多个分类器的分类结果，获得了比简单的单分类器更好的的分类结果。多个分类器组合可能会进一步凸显出单分类器的不足，比如过拟合问题。如果分类器之间差别显著，那么多个分类器组合就可能会缓解这一问题。分类器之间的差别可以是算法本身或者应用于算法上的数据的不同。本章介绍了bagging和。

2023-09-26 16:53:53 100

原创机器学习——第六章支持向量机

支持向量机(Support Vector Machines,SVM)，是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane)。此外本章还将介绍利用SMO(序列最小优化算法)进行优化，利用核函数对数据进行空间转换，以及将SVM与其他分类其进行对比。

2023-09-25 15:02:39 96 1

原创机器学习——第五章 Logistic回归

1.最优化算法：求解一些问题的最优解，例如如何让在最短时间内从A到达B点。2.回归：假如现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就成为回归，这里其实有点像我们利用已有的数据点，找出规律，总结出其规律，最后利用这个规律去判断之后的数据点的情况。3.利用Logistic回归进行分类的主要思想是：根据现有数据利用Logistic回归生成最佳拟合线，并以此作为数据的分类边界线。训练分类器时的做法就是寻找最佳拟合参数，使用的是最佳算法。

2023-09-24 12:00:38 75 2

原创机器学习——第四章基于概率论的分类方法：朴素贝叶斯

若有两个类别，我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1（图中用圆点表示的类别）的概率，用 p2(x,y) 表示数据点 (x,y) 属于类别 2（图中三角形表示的类别）的概率。获得词汇表后，便可以使用函数setofWords2Vec()，该函数的输人参数为词汇表及某个文档，输出的是文档向量，向量的每一元素为1或0，分别表示词汇表中的单词在输人文档中是否出现。p0V 表示词汇表中的每个单词在非侮辱性文档中出现的概率，p1V 表示词汇表中的每个单词在侮辱性文档中出现的概率。

2023-09-22 11:26:11 69

原创机器学习——第二章 k-近邻算法

k近邻算法（k-nearest neighbor, k-NN）是一种基本分类与回归方法。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。

2023-09-19 20:03:54 47

原创机器学习——第三章决策树

决策树分类器就像有终止块的流程图，终止块表示分类结果。开始处理数据集时，我们首先需要测量集合中数据的不一致性，也就是熵，然后寻找最优方案划分数据集，直到数据集中的所有数据属于同一分类。ID3算法可以用于划分标称型数据集。构建决策树时，我们通常采用递归的方法将数据集转化为决策树。一般我们并不构造新的数据结构，而是使用python语言内嵌的数据结构字典存储树节点信息。使用Matplotlib的注解功能，我们可以将存储的树结构转化为容易理解的图形。python语言的pickle模块可用于存储决策树的结构。

2023-09-15 19:35:19 87