ML理论学习
文章平均质量分 80
_Sumor
这个作者很懒,什么都没留下…
展开
-
FM与SVM、LR、FFM区别
写在前面的话关于FM的理解,重点参考论文原文《Factorization Machines》和张俊林老师的知乎专栏推荐系统召回四模型之:全能的FM模型FM vs SVM首先说明,FM和SVM最大的不同,在于特征组合时权重的计算方法SVM的二元特征交叉参数是独立的,而FM的二元特征交叉参数是两个k维的向量viv_ivi、vjv_jvj,交叉参数不是独立的,而是互相影响的FM可以在原始形式下进行优化学习,而基于kernel的非线性SVM通常需要在对偶形式下进行FM的模型预测与训练样本独立,而S原创 2021-05-18 16:25:55 · 1166 阅读 · 0 评论 -
FAISS 原理 使用方法 记录
目录原理PCA降维PQ编码相似搜索Faiss使用Faiss是Facebook的AI团队开源的一套用于做聚类或者相似性搜索的软件库,底层是用C++实现。Faiss几乎可以在10ms内完成百万*百万以上的向量距离计算,它是怎么实现的呢?原理向量计算是一个最经典的时空优化问题,在查询过程中建立更多地索引固然可以提升查询速度,但是却有占据了存储空间,我们希望系统可以即减少索引又能提升查询性能。为了得到时间和空间的最优,Faiss使用了PCA和PQ两个手段进行向量压缩和编码,当然还有其它的一些优化手段,但是原创 2021-05-18 16:08:20 · 726 阅读 · 1 评论 -
拉格朗日乘数法与KKT条件
目录Stochastic Gradient Descent (SGD)Momentum 更新方法AdaGrad 更新方法RMSProp 更新方法Adam 更新方法越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不能避免的, 所以我们需要寻找一些方法, 让神经网络聪明起来, 快起来.Stochastic Gradient Descent (SGD)最基础的方法就是转载 2020-07-27 15:33:28 · 530 阅读 · 0 评论 -
Logistic回归原理及公式推导
Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类器,即Logistic Regression Classifier。在分类情形下,经过学习后的LR分类器是一组权值,当测...转载 2018-02-08 11:46:01 · 937 阅读 · 0 评论 -
Sigmoid函数解析
Sigmoid函数,即f(x)=1/(1+e-x)。是神经元的非线性作用函数。广泛应用在神经网络中。神经网络的学习是基于一组样本进行的,它包括输入和输出(这里用期望输出表示),输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值(Weight)和阈值(Threshold)是任意给定的,学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。给定以下的总输转载 2018-02-07 16:40:09 · 84625 阅读 · 3 评论 -
朴素贝叶斯分类算法简单理解
朴素贝叶斯分类算法简单理解贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法,希望有利于他人理解。1 分类问题综述 对于分类问题,其实谁都不会陌生,日常生活中我们每天都进行着分类过程。例如,当你看到一个人,你的脑子下意识判断他是...原创 2018-02-07 16:22:26 · 881 阅读 · 0 评论 -
机器学习-----核函数
前言:当我跟你说起核的时候,你的脑海里一定是这样的:想到的一定是BOOMBOOM。谈核色变,但是今天我们说的核却温和可爱的多了。我记得我前面说到了SVM的核武器是核函数,这篇文章可以作为http://blog.csdn.net/su_mo/article/details/79310719这篇文章的下篇。但是我这里首先强调一下,核函数不是仅仅在SVM里使用,他只是一个工具,把低维数据映射到高维数据的...转载 2018-02-13 12:08:44 · 1622 阅读 · 0 评论 -
机器学习笔记—svm算法(上)
机器学习笔记—svm算法(上)一:初识svm问题:用一条直线把下图的圆球和五角星分离开来。解答:有N种分法,如下图:附加题:找出最佳分类?解答:如图:Exe me?鬼知道哪一条是最佳??等等这个最佳分类是不是等价于,地主让管家给两个儿子分地,是不是只要让两家之间一样多就可以了?那是不是就是那根红线让两家距离之和离分界线最远就可以了?恭喜你,猜对了。现...转载 2018-02-11 14:53:16 · 481 阅读 · 0 评论 -
[Math & Algorithm] 拉格朗日乘数法
[Math & Algorithm] 拉格朗日乘数法原文来自博客园用户【Poll的笔记 】,仅作部分表达修改。原文地址:http://www.cnblogs.com/maybe2030/p/4946256.html 拉格朗日乘数法(Lagrange Multiplier Method)之前听数学老师授课的时候就是一知半解,现在越发感觉拉格朗日乘数法应用的广泛性,所以特意抽时间学习了麻省理...转载 2018-02-10 14:47:42 · 401 阅读 · 0 评论 -
朴素贝叶斯分类--多项式模型
本文来自于百度文库https://wenku.baidu.com/view/70c98707abea998fcc22bcd126fff705cc175c6b.html文中公式多有问题,还需要重新编辑,但整体而言不影响理解。朴素贝叶斯分类--多项式模型 1. 多项式模型简介 朴素贝叶斯分类器是一种有监督学习,针对文本分类常见有两种模型,多项式模型(词频型)和伯努利模型(文档型)。多项式模型以...转载 2018-02-09 10:25:33 · 3267 阅读 · 0 评论