- 博客(16)
- 收藏
- 关注
RSS订阅
原创 原理笔记 - AdaBoost
前面我们讲了决策树，以及为了避免单颗决策树过拟合问题而诞生的集成算法随机森林算法。但是随机森林有一个问题，因为每一棵树都是独立的，所以即使前面的树有优点也不能充分利用，这就让人觉得很浪费。那有没有一种可能，让每次预测在上一轮的基础上进行，重点去关注上一轮没有预测正确的样本，这样就能取长补短整体不就更完美了嘛？这也就是AdaBoost的核心思想。
2024-03-04 17:14:39
630
1
原创 原理笔记 - CatBoost
一句话概括：Category + boosting = CatBoostCatBoost依然是在GBDT算法框架下的一种改进实现，主要解决的痛点是高效合理地处理类别型特征，另外是处理预测偏移问题（预测偏离在于类别特征编码和梯度提升方法）
2024-02-28 16:21:23
1018
1
原创 原理笔记 - LightGBM
一句话总结：为了优化计算资源消耗，更快、更高效，并且使用更少的资源，lgb诞生！和xgboost一样同样是对gbdt的优化和更高效的实现，与xgboost主要的不同在对于连续值的直方图算法，和树生长策略的调整。
2024-02-23 16:16:14
472
原创 原理笔记 - XGBoost算法
一句话总结，为了优化GBDT（提升计算效率和防止过拟合）XGBoost诞生！相比GBDT，Xgboost支持并行计算，因此可以提高算法的运行效率；并且在损失函数中加入正则项，从而防止模型过拟合。除了支持cart基础模型，同样支持线性基础模型，采用随机森林的思想，对字段进行抽样，防止过拟合的同时降低模型的计算量。
2024-02-22 16:49:34
1215
1
原创 原理笔记 - 梯度提升决策树（GBDT）
GBDT在Adaboost上做了优化/拓展，在Adaboost算法中，损失函数为平方损失或指数函数，因此求解损失函数的最小值问题会非常简单。但如果损失函数为更一般的函数，目标值的求解就会相对复杂很多，GBDT就是为了解决这个问题，利用损失函数的负梯度值作为该轮基础模型损失值的近似，并使用这个近似值取拟合下一轮模型。
2024-02-21 11:36:56
1034
原创 原理笔记 - 决策树
决策树模型（Decision Tree Model）是一种常用于分类和回归的机器学习模型。它通过学习数据特征来构造树形结构的决策规则。
2024-02-19 11:38:57
1409
1
原创 代码实战 - 深度学习之混合模型
混合模型是一种灵活的模型，根据场景的不同我们可以将机器学习/深度学习/监督学习/无监督学习灵活的组合到一起。本篇笔记使用深度学习vgg16的特征提取结合无监督学习实现对奇特草莓的识别。
2024-01-23 18:25:28
485
1
原创 原理笔记 - 深度学习之混合模型
原理笔记 - MLP多层感知器》《原理笔记 - 卷积神经网络（CNN）》《原理笔记 - 卷积神经网络(CNN)之经典模型》《原理笔记 - 循环神经网络（RNN）》我们已经了解了，深度学习的三大核心知识点，总结如下：2.
2024-01-22 11:29:04
980
原创 代码实战 - 循环神经网络（RNN)
在《原理笔记 - 循环神经网络（RNN）》 中我们介绍了rnn的基本原理以及几个衍生模型的基本结构，在本篇笔记中，将使用两个任务，预测白酒价格和自动生成文字来实战模拟rnn的现实使用场景。
2024-01-19 10:54:31
482
1
原创 原理笔记 - 循环神经网络（RNN）
在前几篇笔记中，我们讲了CNN卷积神经网络，我们可以把CNN总结为：MLP + 图像卷积运算 = CNN。接下来我们要介绍另一种神经网络，RNN循环神经网络，提前总结为：MLP + 神经元之间的递归运算 = RNN
2023-12-26 12:40:25
217
1
原创 代码实战 - 卷积神经网络（CNN）
这里为什么这么配置模型求解参数？优化器（Optimizer） - 'adam'：作用：优化器决定了模型如何更新其权重以最小化损失函数。它是学习过程的核心。为什么选择Adam：Adam 是一种广泛使用的优化算法，它结合了动量和自适应学习率的特点。这使得Adam在各种情况下都表现良好，特别是在处理大型数据集和高维空间时。它通常比传统的随机梯度下降（SGD）算法收敛得更快、更有效。
2023-12-22 17:33:01
258
原创 原理笔记 - 卷积神经网络(CNN)之经典模型
在上一篇《算法原理 – 卷积神经网络》篇，我们已经知道CNN的整个流程和原理，但在使用具体算法时仍然有卷积计算时filter的尺寸和数量池化时选择哪种方式stride如何设置以及是否要进行填充等。不同的搭配会有不同的效果，但这固然要花费很长的时间，为了偷懒1.参考经典的CNN模型结构，借鉴核心思想运用到新的模型设计中2.使用经典的CNN模型结构提取图片重要的轮廓信息，再建立自己的MLP模型因此，下面我将介绍三种经典的CNN模型结构，以及如何将这些经典的模型结构与我们自定义的MLP模型相结合。
2023-12-20 16:23:12
51
1
原创 原理笔记 - 卷积神经网络(CNN)
卷积神经网络（英语：convolutional neural network，缩写：CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
2023-12-18 18:47:39
201
原创 自学指南 - 多层感知器(MLP)
多层感知器（MLP，Multi-Layer Perceptron）是一种前馈人工神经网络。它是深度学习和神经网络领域的基础模型之一。MLP通过一系列层来处理数据，每层都由多个节点（或神经元）组成，每个节点都与前一层的每个节点相连。
2023-12-14 15:59:09
843
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人