机器学习算法
文章平均质量分 64
对一些机器学习算法的公式进行推导
烟雨人长安
空气,水,食物,书是生命中必不可少的四项事物!
展开
-
A Graph Transformer Model for Next Point-of-Interest Recommendation 论文解析
原创 2024-01-24 10:41:59 · 415 阅读 · 0 评论 -
MAC系统 LightGBM模型转为pmml格式
MAC系统 LightGBM模型转为pmml格式 相关流程原创 2023-01-28 16:46:52 · 983 阅读 · 0 评论 -
搜广推相关问题——持续更新
搜索推荐常见的问题原创 2022-11-03 10:47:58 · 261 阅读 · 0 评论 -
Pytorch训练模型得到输出后计算F1-Score 和AUC
1、计算F1-Score对于二分类来说,假设batch size 大小为64的话,那么模型一个batch的输出应该是torch.size([64,2]),所以首先做的是得到这个二维矩阵的每一行的最大索引值,然后添加到一个列表中,同时把标签也添加到一个列表中,最后使用sklearn中计算F1的工具包进行计算,代码如下import numpy as npimport sklearn.metrics import f1_scoreprob_all = []lable_all = []for i,原创 2021-04-24 19:21:58 · 16426 阅读 · 4 评论 -
L1与L2的区别
目录L1与L2为何能解决过拟合的问题:Lasso 回归和岭回归:L1与L2的区别:L1与L2为何能解决过拟合的问题:L1与L2都是正则化,它们的公式如下:L1 范数 当 p=1 时,是 L1 范数,其表示某个向量中所有元素绝对值的和。 L2 范数 当 p=2 时,是 L2 范数, 表示某个向量中所有元素平方和再开根, 也就是欧几里得距离公式。它们都可以解决过拟合的问题,具体是为什么可以解决呢?原因有两点:来自知乎上一种比较直观和简单的理解, 模型过于复杂是因为模.原创 2021-03-27 20:16:37 · 3133 阅读 · 0 评论 -
LR为什么不可以用MSE作为损失函数
原因总结:MSE 会有梯度消失现象 MSE 的导数非凸函数,求解最优解困难证明:1. 梯度消失公式证明:令,记为。只关注其中单项的公式,并简化可得:可见, 当 h 趋近于 0 时或者趋近于 1 时,该 Loss 的导数都会趋近为 0,从而造成梯度消失现象。2. 非凸函数公式证明关注其二阶导数,可以得出其二阶导数矩阵即 Hessian 矩阵不是正定矩阵。...原创 2020-04-19 10:42:08 · 2870 阅读 · 0 评论 -
Bagging 和 Boosting 原理及区别
Bagging 和 Boosting 都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍 Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。1、Bagging (bootstrap aggregating)Bagging 即套袋法,其算法过程如下...原创 2020-04-07 15:09:59 · 986 阅读 · 0 评论 -
k-means算法原理及python代码
k-Means算法是一种聚类算法,它是一种无监督学习算法,目的是将相似的对象归到同一个蔟中。蔟内的对象越相似,聚类的效果就越好。聚类和分类最大的不同在于,分类的目标事先已知,而聚类则不一样。其产生的结果和分类相同,而只是类别没有预先定义。算法原理设计的目的:使各个样本与所在簇的质心的均值的误差平方和达到最小(这也是评价K-means算法最后聚类效果的评价标准)。步骤创建k个点作...原创 2020-04-06 15:22:33 · 496 阅读 · 0 评论 -
常见的相似度度量方法总结及Python实现
目录1.欧氏距离(Euclidean Distance)2.曼哈顿距离(Manhattan Distance)3.切比雪夫距离( Chebyshev Distance )4.标准化欧氏距离(Standardized Euclidean distance )5.马氏距离(Mahalanobis Distance)6.夹角余弦(Cosine)7.皮尔逊相关系...原创 2020-04-05 11:11:42 · 4533 阅读 · 3 评论 -
当面试官问LR与SVM的问题时,他们会问些什么
目录一、LR原理介绍及公式推导二、SVM的原理介绍三、LR与SVM的异同及使用场景一、LR原理介绍及公式推导1. 什么是逻辑回归Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)回归模型中,y是一个定性变量,比如y=0或1,logistic方法主要应用于研究某些事件发生的概率2. 逻辑...原创 2020-04-01 18:34:50 · 920 阅读 · 0 评论 -
深度学习为什么使用梯度下降,而不使用牛顿法或拟牛顿法优化?
梯度下降法 (SGD 为例) 牛顿法 拟牛顿法 时间复杂度(单次迭代) 只需计算 1 阶导,时间复杂度低,为 O(n) 需计算 Hessian 矩阵及其逆,时间复杂度高,为 O(n3) 用正定矩阵近似 Hessian 矩阵的逆,时间复杂度为 O(n2) 收敛速度 收敛慢,迭代次数大 收敛快,迭代次数小 收敛快,迭代次数小 初始...原创 2020-03-17 17:03:50 · 1930 阅读 · 0 评论 -
既然 xgboost 那么好,线性回归还有存在的价值吗?
1)线性回归模型的解释性是决策树、随机森林、xgboost 无法比拟的,也无法取代。2)线性回归可以建立线性模型,而 xgboost 是不可以的。举个例子,即使是简单的 y=x+1 的线性关系,xgboost 也无法做到。3)线性模型计算简单,适用于快速部署。参考http://www.sofasofa.io/forum_main_post.php?postid=1001268...原创 2020-03-14 15:44:14 · 1440 阅读 · 0 评论 -
手动实现逻辑斯特回归代码细节
本文参考https://www.cnblogs.com/geo-will/p/10468356.html首先,建立 logistic_regression.py 文件,构建 LR 模型的类,内部实现了其核心的优化函数import numpy as npclass LogisticRegression(object): def __init__(self, learning...转载 2020-03-11 18:48:18 · 707 阅读 · 0 评论 -
XGBoost最通俗版的公式推导与原理解释,超详细!!
最近在准备秋招,看到面经里很多会问到XGBoost的东西,于是整理了一下它的公式推导以及XGBoost和GBDT的对比原创 2020-03-10 14:22:17 · 2836 阅读 · 0 评论