机器学习
文章平均质量分 91
Aliert
我要写的不是那种搬运网上被讲解很多遍的东西,而是真心思考经过自己反思总结的知识,希望通过这个博客能给大家带来知识,也给自己留下足迹。
展开
-
机器学习之分类回归树(CART)
前言写这一章本来是想来介绍GBDT-LR这一个推荐模型的。但是这里面就涉及到了很多机器学习的基础树形算法,思前想后还是决定分成几篇文章来写,这里先介绍一下CART数,因为在GBDT中用来分类回归的树形结构就是CART,为了更好的理解这个推荐模型,首选需要的就是打好基础,介绍完CART之后,我就会介绍XGBoost等一些集成学习的东西,然后就是GBDT,当然了还有Xgboost。的确是一个大家族啊,当然了这些并不是全部的东西,还有LightGBM、catboost这几大巨头算法。这些之后再介绍吧。一、原创 2022-05-09 10:31:34 · 9985 阅读 · 1 评论 -
机器学习之L1正则化和L2正则化(附源码解析)
今天还是机器学习的基础知识内容,也是最基础的哈。首先说一下什么是正则化,其实它就是一个减少方差的策略。那么什么是方差呢?在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象,也就是指的高方差,就是模型在训练集上训练的超级好,几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差, 正则化的思想就是在我们的目标函数中价格正则项, 即:在这里正则项有两种,分别是L1和L2,先来看一下两者的表达式: 如果加上这种正则项,就是希望我们的代价函数小,同时也希望我们这里的小,这样就说明每个样本原创 2022-06-10 22:33:14 · 4080 阅读 · 1 评论 -
机器学习之梯度下降算法
因为是CV出身的,转了推荐算法,前面也写了很多关于推荐算法的东西,但是最近写的有点疲了,思前想后决定先放一下推荐算法的基础模型。这几天先写一下机器学习和深度学习的东西,各个领域融会贯通一下。梯度下降算法是求解无约束多元函数极值最常用的数值方法, 很多机器学习常用算法和神经网络都是以它作为算法框架进行优化参数。 所以这个算法非常重要。梯度下降也是一种优化算法, 通过迭代的方式寻找使模型目标函数达到最小值时的最优参数, 当目标函数为凸函数的时候,梯度下降的解是全局最优解,但在一般情况下,梯度下降无法保证全局最优原创 2022-06-05 11:21:52 · 2024 阅读 · 0 评论