Math
文章平均质量分 82
夕阳下江堤上的男孩
这个作者很懒,什么都没留下…
展开
-
机器学习之优化算法
在机器学习中,由于问题解的计算量通常很大,一般会采用迭代的方式来进行优化求解。最常用的优化算法包括:梯度下降法(BGD、SGD、MBGD)、坐标上升法(Coordinate Ascent)、牛顿法和拟牛顿法等。1、梯度下降法(Gradient Descent) 梯度下降法是最简单常用的最优化方法之一。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向,因为该方向为...原创 2018-02-27 19:30:17 · 682 阅读 · 0 评论 -
奇异值分解(SVD)理论与python实现
奇异值分解(Singular Value Decomposition,SVD)是一种重要的矩阵分解(Matrix Decomposition)方法,可以看做对称方正在任意矩阵上的一种推广,该方法在机器学习的中占有重要地位。 首先讲解一下SVD的理论,然后用python实现SVD,并应用于图像压缩。1、奇异值分解(SVD): 设有 A是一个m×n 的实矩阵,则原创 2018-03-01 20:52:17 · 20845 阅读 · 14 评论 -
梯度提升(Gradient boosting)和GBDT
一、梯度提升(Gradient boosting)提升既可以用于分类,也可以用于回归。提升背后的思想是:每一步产生一个弱学习器,通过不断地把若学习器加权累加到总模型当中,来最终得到一个强预测模型。其基本公式如下: ...原创 2018-03-16 11:07:44 · 4733 阅读 · 0 评论 -
机器学习之分类器性能指标之ROC曲线、AUC值
原文出处:http://www.cnblogs.com/dlml/p/4403482.html一 roc曲线1、roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例;(1-...转载 2018-03-05 17:32:43 · 9030 阅读 · 0 评论 -
信息熵与基尼指数的关系(一阶泰勒展开)
1、信息熵: 信息熵可以度量信息量,也可以表达不确定程度,混乱程度。在机器学习中,还可以度量样本集合的纯度(熵越小集合纯度越高)。信息熵的定义为: (1) 其中,D表示集合,K表示类别数,Pk表示第k类别样本的比例。集合中每一类样本的比例越接近,表示集合纯度越低,越混乱,即熵的值越...原创 2018-03-07 16:03:40 · 8858 阅读 · 2 评论 -
多分类下的ROC曲线和AUC
本文主要介绍一下多分类下的ROC曲线绘制和AUC计算,并以鸢尾花数据为例,简单用python进行一下说明。如果对ROC和AUC二分类下的概念不是很了解,可以先参考下这篇文章:http://blog.csdn.net/ye1215172385/article/details/79448575 由于ROC曲线是针对二分类的情况,对于多分类问题,ROC曲线的获取主要有两...原创 2018-03-05 17:37:20 · 67204 阅读 · 46 评论