NLP-S级
文章平均质量分 90
深度学习
74efa5w1f2315qw41f
多讨论、多实践、多传授!
展开
-
梯度下降优化
梯度下降优化原创 2023-06-14 14:24:53 · 510 阅读 · 0 评论 -
pytorch
如何利用pytorch搭建简单的LSTM神经网络原创 2021-07-20 08:56:09 · 191 阅读 · 0 评论 -
LightGBM
WHAT 链接: 一文搞定 GBDT、Xgboost 和 LightGBM 的面试. 一、LightGBM介绍: LightGBM (Light Gradient Boosting Machine:轻量梯度提升机器) 一个实现 GBDT 算法的框架,支持高效率的并行训练 性能更强劲,速度更快,微软提出。 二、LightGBM原理: 2.1优点: 更快的训练速度 更低的内存消耗 更好的准确率 分布式支持,可以快速处理海量数据 性能提升的原因: ①histogram算法替换了传统的Pre-Sorted,某种意原创 2021-08-08 18:22:19 · 146 阅读 · 0 评论 -
XGBoost
WHAT 链接: 一文搞定 GBDT、Xgboost 和 LightGBM 的面试. xgboost对传统GBDT算法做了很多细节改进,包括损失函数、正则化、切分点查找算法优化、稀疏感知算法、并行化算法设计等等。 Xgboost 原理 目前已有的 GBDT 工具基本都是基于预排序的方法(pre-sorted)的决策树算法(如 xgboost)。这种构建决策树的算法基本思想是: 1,对所有特征都按照特征的数值进行预排序。 2,在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点。原创 2021-08-08 18:23:01 · 80 阅读 · 0 评论 -
GBDT模型
WHAT 1、boosting的思想? 2、xgboost与传统GBDT的区别,优点? 3、为什么用 链接: 一文搞定 GBDT、Xgboost 和 LightGBM 的面试. 1.boosting 类似于bagging集成学习,boosting也是通过重采样得到多个弱分类器,最后得到一个强分类器。区别是boosting是基于权值的弱分类器集成。 如上图为boosting的流程图,主要为两个部分, 更新采样权值D和计算分类器权重α, ~前者使得原来分错的样本再下一个分类器中能够有较大的几率出现,从而提高原原创 2021-08-08 18:20:37 · 61 阅读 · 0 评论 -
SVM支持向量机
WHAT 链接: 100天机器学习day6之SVM. 1、原理是什么? 2、为什么采用间隔最大化? 3、为什么将原始问题转化为对偶问题? 4、问什么引入核函数?有哪些核函数? 1、 SVM 是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。 • 1、当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机; •2、当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即线性支持向量机; • 3、当训练数据线性不可分时,通过使原创 2021-08-08 18:18:15 · 47 阅读 · 0 评论 -
LR逻辑回归
WHAT 1、假设是什么? 2、损失函数?(手推) 3、求解方法? 1假设 在这里插入图片描述 在这里插入图片描述 2、损失函数 损失函数:表征模型预测值与真实值的不一致程度。记为函数L(Y,f(X)) 在这里插入图片描述 在这里插入图片描述 3、求解方法? 链接: 逻辑回归损失函数推导及求导. LR原理 LR(Logistic Regression)虽然是回归模型,但却是经典的分类方法。 为什么分类不用SVM呢?我们对比一下SVM,在二分类问题中,如果你问SVM,它只会回答你该样本是正类还是负类;而你如果原创 2021-08-08 18:16:39 · 63 阅读 · 0 评论