- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【机器学习】AdaBoost算法Python实现
回顾集成学习，这里我们先介绍了集成学习的相关知识，集成学习就是通过构建并结合多个学习器来完成学习任务。 然后根据个体学习器的生成方式，介绍了集成学习方法两大类：个体学习器间存在强依赖关系，必须串行生成的序列化方法，代表是：Boosting个体学习器间不存在强依赖关系，可同时生成的并列化方法，代表是：Bagging和随机森林（Random Forest）AdaBoost算法，这里我...
2018-08-25 17:28:15
2793
2
原创 【机器学习】提升方法AdaBoost算法
前言此博客介绍了关于集成学习的相关知识，在学习AdaBoostAdaBoostAdaBoost算法前，可以先了解下集成学习。提升（Boosting）方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 提升方法基于这样一种思想： 对于一个复杂任务来说，将多个专家的判断进行适当的综合所...
2018-08-21 22:22:16
408
原创 【机器学习】快速理解集成学习（Ensemble Learning）
前言当我们在做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。机器学习处理问题时，又何尝不是如此？集成学习集成学习就是通过构建并结合多个学习器来完成学习任务。 上图显示了集成学习的一般结构：先产生一组“个体学习器”；再用某种策略将它们结合起来；通过“投票法”产生输出。 以上结构中，设计的问题有： 1. 选择什么样子的个体学习器才能使...
2018-08-21 16:18:49
1019
原创 【机器学习】朴素贝叶斯法（2）——案例：垃圾邮件分类
前言此文介绍了朴素贝叶斯的相关理论，如果理论知识还没能很好的掌握，我们可以通过代码来进一步理解。在我们进行垃圾文件分类前，我们先思考一个问题：我们知道，朴素贝叶斯是基于概率论的，那么对于一个纯文本的邮件，我们该如何计算相关概率呢？我们需要先从文本中获取特征，然后将每一个文本片段表示为一个词条向量，用1表示出现在文档中，用0表示未出现，这样就可以将一个纯文本的文档转换为一个数字向量，基于...
2018-08-09 13:33:18
2632
2
原创 【机器学习】朴素贝叶斯法（1）——理论
前言朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 概率：事件发生的可能性，比如抛一枚硬币，正面向上的可能性有50%，掷色子点数为6的可能性为1/6。我们用符号表示为P(A)P(A)P(A) ...
2018-08-08 10:32:43
967
原创 【机器学习】支持向量机（7）——手写数字识别案例
前言之前我们用 kkk-近邻算法（kNNkNNkNN）实现了手写数字识别系统，博客链接从上面的案例中，我们可知使用kNNkNNkNN方法的效果不错，但是需要保留所有的训练样本。而对于支持向量机来说，其需要保留的样本少了很多（只需要保留支持向量），但能获得可比的效果。 说明： 这里我们只考虑SVMSVMSVM的二分类问题，所以我们只使用了手写数字识别数据集中的1和9数据； ...
2018-08-02 12:13:53
3537
原创 【机器学习】支持向量机（6）——SMO算法Python代码实现
前言此文介绍了SMOSMOSMO算法，以及前面我们介绍了支持向量机的理论，下面我们就该通过代码来实现了。由于SMOSMOSMO算法不易于理解，为了让大家正确理解它的工作流程，我们先从简化版的SMOSMOSMO算法开始讨论。应用简化版SMOSMOSMO算法处理小规模数据集通过之前的学习，我们知道SMOSMOSMO算法中的外循环确定要优化的αα\alpha，而简化版的会跳过这一部分，首...
2018-08-01 16:06:29
4143
6
原创 【机器学习】支持向量机（5）——SMO算法
前言通过前几篇博客的介绍，相信大家已经对支持向量机有了一定的了解，我们知道，支持向量机的学习问题可以形式化为求解凸二次规划问题。minα12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαis.t.∑i=1Nαiyi=00⩽αi⩽C,i=1,2,...,Nminα12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαis.t.∑i=1Nαiyi=00⩽...
2018-08-01 14:26:57
658
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人