![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
秋招准备
ML, DL, NLP, leetcode
wrany
这个作者很懒,什么都没留下…
展开
-
朴素贝叶斯
目录 贝叶斯初识: 基本方法: 贝叶斯估计优缺点 QA: 贝叶斯初识: 一种基于贝叶斯定理和特征条件独立假设的分类方法 步骤: 基于特征条件独立假设学习 输入/输出 联合分布 基于此模型 对于给定输入x,利用贝叶斯原理求出后验概率最大的输出y 基本方法: 贝叶斯估计优缺点 优点: 逻辑简单,容易实现 分类时空开销少 缺点 朴素贝叶斯的属性相互独立假设在实际应用中往往不成立,在属性较多或属性间相关性较强的时候分类效果不好 QA: 朴素贝叶斯朴素在哪...原创 2020-06-13 21:44:10 · 239 阅读 · 0 评论 -
CART 分类 回归
占坑原创 2020-06-12 21:35:03 · 136 阅读 · 0 评论 -
集成学习常见问题总览
检索关键词boosting bagging rf gbdt xgboost adaboost lightgbm 1、随机森林和GBDT思想? Bagging 和boosting。 2、Boosting和bagging谁的树深要设置的小一些为什么 boosting的树深度小,bagging的树深度大。因为boosting是低偏差的,所以树不必太深,且为了把boosting的方差也降低,树也要深度小。bagging是低方差的,为了降低偏差,把树的深度变大,这样能降低偏差。 3、boosting xgbo.原创 2020-06-11 22:10:57 · 444 阅读 · 0 评论 -
XGboost
什么是XGboost XGboost本质上还是GBDT,两者都是Boosting方法 XGboost 和 GBDT的主要区别是目标函数的定义 XGboost的目标函数是 l()为损失函数 是正则项 constant是常数项 XGboost 的核心算法思想: 1、不断添加树,每添加一个树,即学习一个新的函数f(x),去拟合上次预测的残差 2、训练完成后得到k颗树,根据样本特征,在每棵树中都会落到一个叶子节点下 3、叶子结点对应的值相加就是预测结果 新加入的树如何构建呢? 新的.原创 2020-06-11 21:07:50 · 189 阅读 · 0 评论 -
Adaboost
Adaboost 的基本认识 集成学习的一种 集成学习: 建立多个模型 ,用某种方法, 将多个模型联系在一起, 使其输出结果优于单个模型 Adaboost算法: 建立多个弱分类器,给每个弱分类器赋予权重,将这些弱分类器结合在一起得到一个强分类器。弱分类器的训练过程是串行的,上一个弱分类器训练完成后才能进行下一个弱分类器的训练。在每个弱分类器的训练过程中,需要关注上一个弱分类器分类错误的样本点。用当前训练的弱分类器来弥补上一个弱分类器分类结果的不足。 Adaboost 的推导 首先假设有一个弱分类原创 2020-06-11 20:06:00 · 817 阅读 · 0 评论 -
梯度提升决策树(GBDT)
GBDT(Gradient Boosting Decision Tree),梯度提升决策树 Boosting 集成学习经典一类算法,属于个体学习器间存在较强依赖关系的一类,需以串行的序列化生成方法构建。 步骤:先从训练集中训练出一个基学习器,根据基学习器的表现调整训练样本分布,使得在基学习器中做错的训练样本在后续受到更多关注。根据调整后的样本分布训练下一个基学习器 GBDT 原理: 所有弱分类器结果相加等于预测值,下一个弱分类器去拟合误差函数对预测值的残差(预测值与真实值的误差)这里的弱分类器是原创 2020-06-11 11:00:02 · 359 阅读 · 0 评论 -
随机森林
目录 随机森林概念 随机森林 随机森林分类效果的影响因素 随机森林的优缺点 常见问题 随机森林概念 随机森林属于集成学习的一种。 集成学习: 通过构建并结合多个分类器,完成学习任务。 期待状态,不同分类器‘和而不同’。主要有两类方法,a 个体学习器之间存在强依赖关系,需串行生成的序列化方法。代表算法 Boosting b 个体学习器间不存在强依赖关系,可同时生成的并行化方法。代表算法 Bagging 和 随机森林 Bagging 步骤: (1)给定包含m个样本的训练集,随机抽取一...原创 2020-06-11 09:17:57 · 935 阅读 · 0 评论 -
决策树
目录 概述 特征选择 决策树的生成 ID3算法 C4.5 CART 决策树的剪枝 高频考点: 概述 决策树:被用于分类 回归任务 特点: 树形结构,if-then规则的合集,模型可读性强、分类速度快 决策树学习步骤: 特征选择、决策树的生成、决策树的修剪 决策树学习的目标: 从训练数据中归纳出一组分类规则,与训练数据矛盾较小且具有较好的泛化能力 学习方法:用损失函数表示上一目标,常用损失函数——正则化的极大似然 特征选择 目的: 选择对训练数据有足够分类能力的特征,提高.原创 2020-06-10 11:08:43 · 173 阅读 · 0 评论