![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础理论
文章平均质量分 53
深度瞎学
这个作者很懒,什么都没留下…
展开
-
关于深度学习与机器学习的一些理解
1.Gradient Bossting与残差模块 首先解释一下梯度提升(Gradient Bossting)算法: 1.梯度下降法: 用泰勒公式表示损失函数,用更数学的方式解释梯度下降法: 这里多说一点,我为什么要用泰勒公式推导梯度下降法,是因为我们在面试中经常会被问到GBDT与XGBoost的区别和联系?其中一个重要的回答就是:GBDT在模型训练时只使用了代价函数的一阶导数信息,XGBoost对代价函数进行二阶泰勒展开,可以同时使用一阶和二阶导数。当然,GBDT和XGBoost还有许多其它的区别与联系,原创 2021-11-19 15:57:41 · 402 阅读 · 0 评论 -
关于迁移学习
什么是/为什么要迁移学习? 迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习(starting from scratch,tabula rasa)。 1.训练集很小的情况下 在进行tigga和misty以及neither的三分类问题时(自己拥有的数据原创 2020-12-07 16:38:46 · 359 阅读 · 0 评论 -
模型容量
简介 通过调节机器学习模型的容量,可以控制模型是否偏于过拟合还是欠拟合。 模型容量 容量从本质上说是描述了整个模型的拟合能力的大小。如果容量不足,模型将不能够很好地表示数据,表现为欠拟合;如果容量太大,那么模型就很容易过分拟合数据,因为其记住了不适合与测试集的训练集特性,表现为过拟合。 因此控制好模型的容量是一个关键问题。 控制方法 容量的控制可以通过多种方法控制,包括: 控制模型的假设空间。 添加正则项对模型进行偏好排除。 相关结论 当机器学习算法的容量适合于所执行任务的复杂度和所提供训练数原创 2020-11-23 09:59:04 · 1458 阅读 · 0 评论