2017年10月_gzj_1101

11月 10月 09月 07月 03月 02月

原创无监督学习之K-means算法

前面讲到的都是监督学习的分类与回归，今天我们来看看无监督学习以及里面常见的聚类算法。无监督学习相对于监督学习，无监督学习的训练样本没有标签信息，无监督学习的目标是通过无标签训练样本的学习来揭示数据内在的性质以及规律，为进一步的数据分析提供基础。其中研究最多和最广泛的便是聚类任务。聚类试图将数据集中的样本划分成不同的簇。将相似的对象归到同一个簇中，簇内对象越相似，聚类的效果越好。...

2017-10-31 10:35:24 725

原创 CART算法的原理以及实现

CART算法思想CART树的特点回归树的生成最小二乘法回归树生成算法分类树的生成基尼指数分类树生成算法剪枝处理CART分类回归树(classification and regression tree，CART)模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成以及剪枝组成，既可以用于分类也...

2017-10-26 16:16:31 32509 9

原创 AdaBoost算法的原理与实现

前面讲到了增强学习的基本原理以及两种方法Boosting，现在就介绍我们的主角AdaBoost。集成学习的两个关注点在每一轮如何改变训练数据的权值或者概率分布如何将弱分类器组合成一个强分类器AdaBoost思想对于第一个问题：每一个训练样本都被赋予一个权重，表明它被某个分类器选入训练集的概率。然后提高被前一轮若分类器错误分类的样本的权值，降低那些被错误分类的样本的权值。这样一来没有被正确分类的

2017-10-22 18:49:35 650

当做重要决定的时候，大家可能都会考虑吸取多个专家而不是一个人的意见。机器学习在解决问题的时候又不是如此。这就是集成学习的思想。集成学习　　集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，颇有“三个臭皮匠顶个诸葛亮”的意味。集成学习于弱学习器(weaker learner)的效果更佳明显，因此集成学

2017-10-19 19:26:22 1032

原创支持向量机之SMO算法

前面我们讲到SVM的基本理论，现在就涉及到SVM的实现，这里就不得不提到SMO算法SMO算法1996年，John Platt 发布了一个称为SMO的强大算法，用于训练SVM，SMO表示表示序列最小优化(Sequential Minimal Optimization)。Platt的SMO算法是将大优化问题分解成为许多个小优化问题来求解。这些小优化问题往往很容易求解，并且对他们进行顺序求解的结果与将他们

2017-10-16 19:24:32 794

原创机器学习笔记(五)之详解SVM支持向量机

上篇博客我们讲的是logistic分类器，一个基于概率的分类器，本篇的SVM(support vector machine)是一个基于间隔的二元分类器。支持向量机在机器学习中，支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络[1]）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个

2017-10-10 21:47:52 1290

原创机器学习笔记(四)之Logistic回归

回归的概念假设有一些数据点，我们利用一条直线对这些点进行拟合(该直线为最佳拟合直线)，这个拟合过程称为回归。logistic回归思想根据根据现有数据集对分类边界线建立回归公式，以此进行分类。logisitc回归一般过程收集数据：采用任意方法收集数据准备数据：由于需要计算距离，所以要求数据类型是数值型。另外，结构化数据格式最佳分析数据：采用任意方法对数据进行分析训练算法：大部分时间用于训练，训

2017-10-08 19:15:37 1298