lekusun9671的博客

不同于之前讲的SVM、决策树、朴素贝叶斯算法，提升算法本着“三个臭皮匠，顶个诸葛亮”的原则，将多个性能一般的模型"组装"成一个高性能模型。Bagging和Boosting是最常用到的模型融合方法，最经典的Bagging模型是随机森林，boosting的经典算法有adaboost和梯度提升决策树(gbdt)，后面都会讲到，这篇文章先介绍adaboost。adaboost (adaptive bo...

前面我们已经讲了感知机，感知机算法的思想就是先随机初始化一个超平面，然后根据分类错误的样本不断调整超平面的参数，直到所有的样本都分类正确。但是感知机存在以下缺陷：(1) 当存在一个超平面可以将正负样本完全分开时，这样的超平面会有无数条；(2) 模型的鲁棒性不好：我们找到的超平面是刚好可以把正负样本分开，当我们增加数据量时，这个超平面很可能就无法正确分类了；(3) 对初始参数敏感：初始化...

今天我们介绍两个对数线性模型：逻辑回归和最大熵模型。逻辑回归是一种由条件概率P(Y|X)表示的分类模型，形式为参数化的逻辑斯谛分布。最大熵模型基于最大熵原理，认为学习概率分布模型时，在条件概率不确定的情况下，熵最大的模型即为最好的模型。逻辑回归...

决策树是一种更接近于人类思维的分类回归算法。为什么说它接近人类思维呢？回忆一下我们平时做决策的思路，比如现在公司想要做一款新产品，我们来看一下这件事情的可行性。首先调研一下市场空间大不，不大的话就没有必要做了；在市场空间大的情况下，我们看一下有没有同类型的产品，没有的话就开搞！如果有的话，我们考虑一下能不能替代它或者说优于它，要是可以那就继续搞！要是机会很渺茫，那就要慎重考虑一下了，比如你现在说要...

今天介绍的朴素贝叶斯算法是基于贝叶斯定理和条件独立性假设的分类算法。它是一种典型的生成式算法，首先基于条件独立性假设用训练数据学习联合概率分布P(X, Y)，然后根据此模型通过最大化后验概率对新来的数据x进行预测。联合概率分布根据贝叶斯算法思想，第一步是要学习P(X, Y)，根据条件概率公式，我们可以通过求出条件概率p(x|y)和先验概率p(y)来得到联合概率分布，那么条件概率和先验概率我...

目录K近邻的思想距离怎么算K的取值预测规则应用：kd树kd树的构建kd树的搜索K近邻的思想今天介绍的K近邻算法是一种思想非常简单的分类回归算法。顾名思义，预测结果肯定是和样本最靠近的K个邻居有很大的关系。不同于其他算法，需要先训练模型才可以进行预测，K近邻算法直接选择与我们要预测的样本点距离最近的K个样本，然后用这个K个邻居的标签值根据一定的规则得出预测结...

目录算法介绍算法流程算法总结算法介绍感知机是一种用于二分类的线性分类模型，通过随机梯度下降法最小化损失函数找到一个可以将正负样本完全分隔开的超平面。训练数据：，其中我们要找到一个超平面，对于所有真样本有；对于所有负样本有。将两个条件综合起来就是。对于分错的样本有,M指的是分错的样本组成的集合。所以我们的目标就是使分错的样本尽可能的少： ...