![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning Theory
codestorm04
这个作者很懒,什么都没留下…
展开
-
简单易学的机器学习算法——因子分解机(Factorization Machine)_codestorm_新浪博客
转自:http://www.bubuko.com/infodetail-787893.html标签:因子分解机fmfactorizationmachine一、因子分解机FM的模型 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。1、因子分解机FM的优势...转载 2017-09-12 16:37:03 · 681 阅读 · 0 评论 -
【最优化】牛顿法的简单编程实验
Newton_Optimizing牛顿最优化方法的模拟实验理论原本应用于非线性方程组求根,通常也就是高阶方程组,和转化为求f(x)=0的根,有定理证明当阶数大于5时无解析解,因此通过优化方法求之。通过泰勒展开,可得x的更新公式。同时,类似地可在最优化任务中对f(x)’=0求得函数极值的必要条件,此时转化为求方程的根,可用牛顿法进行迭代。具体可参考:https://blog.csdn.n...原创 2019-07-30 22:32:58 · 1233 阅读 · 0 评论 -
连续特征离散化的好处
转自:https://note.youdao.com/ynoteshare1/index.html?id=024fa3dbabf4b5a07eb72c8021e60f62&type=note连续特征的离散化:在什么情况下将连续的特征离散化之后可以获得更好的效果?Q:CTR预估,发现CTR预估一般都是用LR,而且特征都是离散的。为什么一定要用离散特征呢?这样做的好处在哪里?A:...转载 2019-06-29 22:43:20 · 1336 阅读 · 0 评论 -
多种方法解决机器学习中样本不均衡问题
转自:http://blog.csdn.net/zhangf666/article/details/78860376在机器学习任务中,我们经常会遇到这种困扰:数据不平衡问题。数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时,以总体分类准确率为学习目标的传统分类算法会过多地关注多数类,从而使得少数类样本的分类性能下降。绝大多数常见的机器学习算法对于不平衡数据集都不能很好地工作。...转载 2019-06-29 16:26:59 · 5122 阅读 · 1 评论 -
蓄水池抽样算法(Reservoir Sampling)
许多年以后,当听说蓄水池抽样算法时,邱simple将会想起,那个小学数学老师带他做“小明对水池边加水边放水,求何时能加满水”应用题的下午。一、问题我是在一次失败的面试经历中听说蓄水池算法的。之后上网搜了搜,知道是一个数据抽样算法,寥寥几行,却暗藏玄机。主要用来解决如下问题。给定一个数据流,数据流长度N很大,且N直到处理完所有数据之前都不可知,请问如何在只遍历一遍数据(O(N))的情况下...转载 2019-07-03 15:49:31 · 422 阅读 · 0 评论 -
C++实现SVM 算法
(一)数学推导首先熟悉SVM的基础数学原理,可根据一下几篇博客的详细推导作为参考(强烈推荐):SVM解释:一、SVM的整体框架SVM解释:二、SVM的数学基础SVM解释:三、线性可分的情况SVM解释:四、线性不可分的情况SVM解释:五、SMO算法(二)实现流程 捋一遍数学推导后准备着手实现,但发现数学推导的流程与程序实现的流程不尽相同,尤其是某些在数学上...原创 2019-06-24 21:55:48 · 10021 阅读 · 11 评论 -
GBDT、XGBOOST、LightGBM讲解
https://github.com/wangyuGithub01/Machine_Learning_Resources/blob/master/pdf/gbdt_wepon.pdf转载 2019-07-02 22:49:46 · 180 阅读 · 0 评论 -
L1、L2正则化与贝叶斯先验分布的关系
转自:https://note.youdao.com/ynoteshare1/index.html?id=2851b97199bcdc174001d72b1bec0372&type=note(1)频率学观点:认为参数w是固定的,数据集D有多个,所以要解决的问题是什么样的w能使当前的D出现的可能性最大假设给定输入x,其对应的label是t,且t服从高斯分布且均值为f(x)=wx+b...转载 2019-07-02 16:46:06 · 3024 阅读 · 0 评论 -
C++ 因子分解机FM算法及实现
推荐系统与个性化广告系统中都涉及到用户点击率预估及浏览时长等的预估,点击率可通过简单地对<u, v>做一个[0, 1]之间的概率分值,u为针对某个用户,v为推荐的广告或内容。由于此类系统往往具有大量经过one-hot编码的离散特征,造成极端稀疏和高纬度特征,使得特征提取和回归点击概率变得效率地下。FM(Factorization Machine)通过一个比输入特征短的多的特征向量...原创 2019-06-17 11:55:11 · 924 阅读 · 0 评论 -
递归神经网络 训练、推到、实现(网络资料整理)
参考:RNN求解过程推导与实现人人都能用Python写出LSTM-RNN的代码![你的神经网络学习最佳起步]Hinton 的课件我的最佳学习法就是通过玩具代码,一边调试一边学习理论。这篇博客通过一个非常简单的python玩具代码来讲解循环神经网络。[python]view plaincopyimportcopy,numpyasnp np.random.se...原创 2019-06-16 19:49:51 · 1835 阅读 · 1 评论 -
C++实现简单逻辑回归 Logistic Regression
逻辑回归是非常经典的分类算法,通过sigmoid非线性函数实现的二分类器,关于函数原型、分类算法原理可参考:https://blog.csdn.net/u014258807/article/details/80616647sigmoid函数定义为:函数图形为:其推导过程略,实现可参考github:https://github.com/codestorm04/Arma_ML...原创 2019-06-16 19:42:17 · 1801 阅读 · 0 评论 -
统计机器学习算法库Arma_ML
Arma_ML是一个基于C++实现的统计机器学习常见算法库,类似于Python中的Scikit-learn,能够完成多种传统的机器学习任务并包含自带的迁移于Scikit-learn的小型数据集,此外更重要的是能够帮助大家进一步了解常见分类、回归、降维、聚类等统计学习算法实现细节,对算法原理的掌握也有一定益处。项目开发基于C++的线性代数运算库Armadillo(也是因此而得名),因...原创 2019-06-16 19:25:32 · 467 阅读 · 0 评论 -
最大似然估计、最大后验概率与贝叶斯估计
转自:https://www.jianshu.com/p/7b9b979f1bffIntro众所周知,机器学习的过程一般分两个要点,第一是“模型”,第二是“优化”。“模型”这一点很好理解,就是要找到适合用于解决手头上预测问题的模型。机器学习训练过程的核心在于“优化”。而训练(trianing)一般可以分成以下几个步骤:定义假设空间H:即选择模型,不同的模型对应的就是不同的假设空间。 ...转载 2019-06-20 15:54:36 · 679 阅读 · 0 评论 -
data mining outlines_codestorm_新浪博客
brief catalog:1. Frequent Pattern Tree(FP-Tree) / Apriori (Association rules)-------------------2. Decision Tree (information gain for property selection / C4.5 Gain Ratio/ Gini Index CART)...原创 2016-03-19 11:55:30 · 94 阅读 · 0 评论 -
Using Learning Rate Schedules for Deep Learning Models in Python with Keras
转自:https://machinelearningmastery.com/using-learning-rate-schedules-deep-learning-models-python-keras/Training a neural network or large deep learning model is a difficult optimization task.The cl...转载 2019-06-15 21:44:58 · 360 阅读 · 0 评论 -
dimension reduction (降维)方法总结_codestorm_新浪博客
1.feature selection redundant / irrelevant : filter: correlation / mutual information wrapper: others: decision tree2. feature extraction ...原创 2017-02-16 13:03:38 · 1436 阅读 · 0 评论 -
SVD奇异值分解的原理&应用
原理可看:刘建平Pinard blogPCA思路及SVD应用SVD在PCA和LSI(latent semantics index)中的应用:https://www.cnblogs.com/peizhe123/p/5113357.htmlSVD在协同过滤和推荐算法中的应用:https://www.cnblogs.com/Xnice/p/4522671.html...原创 2019-08-01 12:42:33 · 253 阅读 · 0 评论