机器学习
冷的太明显
这个作者很懒,什么都没留下…
展开
-
拉格朗日乘数和KTT条件
拉格朗日乘数和KTT条件通常来说最优化问题是指:对于给定的某一函数,求其在指定作用域上的全局最优解。在求解数学的最优化问题中,Lagrange Multiplier (拉格朗日乘子法)和 Karush-Kuhn-Tucker Conditions(KTT条件)是两种常用于寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法。拉格朗日乘子法常用于等式约束的优化问题,求取出最优值;KKT条件常用于原创 2017-07-19 15:16:10 · 1967 阅读 · 0 评论 -
Wide & Deep Learning模型介绍
Introduction2Wide & Deep Learning3The Wide Component(Wide 组件)The Deep Component (Deep组件)Wide & Deep模型的联合训练Wide & Deep Learning 是由Google Inc发表的paper:Wide & Deep Learning f...原创 2018-04-21 12:58:52 · 4529 阅读 · 1 评论 -
DeepFM模型介绍及应用
IntroductionDeepFm模型模型结构FM ComponentDeep ComponentIntroduction对于一个基于CTR预估的推荐系统,最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中,低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。Wide & Deep Learning通过组合使用cross-p...原创 2018-05-01 11:29:04 · 12715 阅读 · 1 评论 -
极大似然估计详解
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,并且它属于某一类别的概率,有转载 2018-04-19 11:33:26 · 906 阅读 · 0 评论 -
一文搞懂HMM(隐马尔可夫模型)
什么是熵(Entropy)简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念,用来表示任何一种能量在空间中分...转载 2018-04-18 12:05:57 · 377 阅读 · 0 评论 -
在线学习算法FTRL基本原理
相关介绍SGD: Stochastic Gradient DescentTG简单加入L1范数简单截断法梯度截断法FOBOS: Forward Backward Splitting2RDA: Regularized dual averaging4FTRL: Follow-the-Regularized-Leader总结相关介绍SGD: Sto...原创 2018-04-17 21:17:41 · 2680 阅读 · 1 评论 -
特征怎么离散化?为什么需要离散化?
特征怎么离散化?为什么需要离散化?特征怎么离散化?为什么需要离散化?特征离散化无监督方法有监督方法特征离散化的优势特征离散化连续特征离散化的基本假设,是默认连续特征不同区间的取值对结果的贡献是不一样的。特征的连续值在不同的区间的重要性是不一样的,所以希望连续特征在不同的区间有不同的权重,实现的方法就是对特征进行划分区间,每个区间为一个新的特征。常用做法,就...原创 2018-04-16 17:34:00 · 9359 阅读 · 0 评论 -
Factorization Machines 因式分解机
Factorization Machines 因式分解机原理Factorization Machines 因式分解机原理1. 概述2. FM优势3. 2维-FM3.1 模型3.2 二维-FM计算复杂度3.2 二维-FM的梯度计算4. FM应用1. 概述在使用线性模型,例如LR模型时,特征工程是很大一块工作,有时为了产生较好的效果需要人工进行一些...原创 2018-03-28 10:54:43 · 1271 阅读 · 0 评论 -
机器学习算法的优缺点
机器学习算法的优缺点机器学习算法的优缺点1. 线性回归 Linear Regression2. 逻辑回归 Logistic Regression3. 朴素贝叶斯 Naive Bayes4. 最近领算法 KNN5. 决策树 Decision Tree1. 线性回归 Linear Regression线性回归是用于回归的,而不像Logistic回归是用于分类,...原创 2018-03-28 16:59:51 · 1594 阅读 · 1 评论 -
GBDT(Gradient Boosting Decision Tree) 梯度提升树的基本原理
GBDT(Gradient Boosting Decision Tree) 梯度提升树的基本原理GBDTGradient Boosting Decision Tree 梯度提升树的基本原理什么是GBDT1 Decision Tree2 Gradient BoostingGBDT算法1 GBDT回归算法2 GBDT分类算法21 二元GBDT分类算法22 多元GBDT分类算法1. 什原创 2018-03-20 14:23:11 · 885 阅读 · 0 评论 -
集成学习之Adaboost算法基本原理
什么是AdaboostAdaboost算法1. 什么是Adaboost?AdaBoost算法是基于Boosting思想的机器学习算法,其中AdaBoost是Adaptive Boosting的缩写,AdaBoost是一种迭代型的算法,其核心思想是针对同一个训练集训练不同的学习算法,即弱学习算法,然后将这些弱学习算法集合起来,构造一个更强的最终学习算法。AdaBoost算法示意图1:假设有nn个样原创 2018-03-20 14:21:35 · 851 阅读 · 0 评论 -
集成学习(ensemble learning)基本原理
Baggingbootstrap aggregating自举汇聚法1Boosting对于机器学习的一系列的算法,每个都有不同的适用范围,有处理线性可分问题的,有处理线性不可分问题,泛化性普遍不强。集成学习方法是指组合多个模型,以获得更好的效果,使集成的模型具有更强的泛化能力。使用集成方法时会有多种形式:可以是不同算法的集成,也可以是同一算法在不同设置下的集成,还可以是数据集不同部分分配给不同学习原创 2018-03-20 12:47:16 · 1803 阅读 · 0 评论 -
Xgboost参数解释及调参
General ParametersBooster ParametersTask Parameters首先xgboost有两种接口,xgboost自带API和Scikit-Learn的API,具体用法有细微的差别但不大。在运行 XGBoost 之前, 我们必须设置三种类型的参数: (常规参数)general parameters,(提升器参数)booster paramet...原创 2018-04-29 13:59:17 · 42607 阅读 · 1 评论