机器学习
文章平均质量分 81
追天一方
以梦为马,砥砺前行
展开
-
机器学习算法-决策树算法原理及其sklearn实现
前言先梳理一下决策树的预测过程。预测时,从根节点开始,每次对一个特征分量进行判断,然后进入左子节点或者右子节点,直到抵达叶子节点,得到对应的类别标签或者回归值。1.决策过程先来看一个简单的决策树例子:银行要判断能否给一个人贷款,需要满足判断两个特征,一个是年收入,一个是是否有房产,这是一个二分类问题。来走一下这个决策树的流程,首先是根节点,判断年收入是否大于20万。年收入大于20就可以给这个人贷款,不大于20万就去下一个判断,下一个节点的判断是是否有房产,有房产就可以贷款,没有就不能贷款。决策原创 2021-12-14 23:06:44 · 2247 阅读 · 0 评论 -
机器学习-knn(k近邻)算法原理及实现
前言经典的knn了解一下。1.算法思路1.1算法基本思想knn的基本思想:需要确定一个样本A的类别,可以计算出它与所有训练样本的距离,然后找出和该样本距离最小的k个样本,对这k个样本的类别进行统计,样本数最多的那个类别就是我们A的类别了。1.2预测算法流程knn没有需要求解的参数,没有训练过程,参数k由人工指定。对于分类问题,给定n个训练样本(xi,yi),xi为特征向量,yi为标签值。设定合适的参数k,类别数为c,待分类的样本为下。算法的预测流程如下。(1)在训练数据中找出离x最近的k个样本原创 2021-11-29 22:53:29 · 2163 阅读 · 0 评论 -
机器学习-贝叶斯分类器原理及其sklearn实现
前言贝叶斯分类器是一种概率模型,它用贝叶斯公式解决分类问题。我们假设样本的特征向量服从某种概率分布,则可以计算特征向量属于每个类的条件概率,条件概率最大的即为分类结果。如果假设特征向量各个分量之间相互独立,即为朴素贝叶斯分类器。如果假设特征向量服从多维正态分布,则为正太贝叶斯。1.贝叶斯决策条件概率描述了两个有因果关系的随机变量之间的概率关系,p(b|a)定义为在时间a发生为前提下,事件b发生的概率。贝叶斯公式阐明了两个随机事件之间的概率关系:这个结论可以推广到随机变量。分类问题中特征向量的取值x和原创 2021-11-27 13:34:37 · 3134 阅读 · 2 评论