![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MachineLearning
爱我所享
这个作者很懒,什么都没留下…
展开
-
特征缩减系数的理解等 岭回归 lasso
出处:http://blog.csdn.net/autoliuweijie/article/details/502858811. 理论概述:通过对损失函数(即优化目标)加入惩罚项,使得训练求解参数过程中会考虑到系数的大小,通过设置缩减系数(惩罚系数),会使得影响较小的特征的系数衰减到0,只保留重要的特征。常用的缩减系数方法有lasso(L1正则化),岭回归(L2正则转载 2017-09-04 22:40:55 · 1710 阅读 · 0 评论 -
机器学习理论与实战(八)回归 相关公式详解
机器学习理论与实战(八)回归 按照《机器学习实战》的主线,结束有监督学习中关于分类的机器学习方法,进入回归部分。所谓回归就是数据进行曲线拟合,回归一般用来做预测,涵盖线性回归(经典最小二乘法)、局部加权线性回归、岭回归和逐步线性回归。先来看下线性回归,即经典最小二乘法,说到最小二乘法就不得说下线性代数,因为一般说线性回归只通过计算一个公式就可以得到答案,如(公式一)转载 2017-09-05 11:37:51 · 380 阅读 · 0 评论 -
对于数据混乱程度的判定准则:基尼不纯度、信息熵、方差
两者都是对数据混杂程度的测度。总结一句:对于标称型数据我们通常用信息熵或者基尼不纯度来判定混乱程度,对于数值型问题则用方差作为判断标 准。出处:http://blog.csdn.net/lingtianyulong/article/details/34522757决策树是一种简单的机器学习方法。决策树经过训练之后,看起来像是以树状形式排列的一系转载 2017-09-06 18:11:01 · 14045 阅读 · 0 评论 -
样本方差的无偏估计与(n-1)的由来
原文出处: http://blog.sina.com.cn/s/blog_c96053d60101n24f.html在PCA算法中用到了方差,协方差矩阵,其中方差公式为,协方差矩阵公式为,当时不明白为什么除的不是m,而是m-1,那么想要知道为何,下面就是你想要的答案。 假设X为独立同分布的一组随机变量,总体为M,随机抽取N个随机变量构成一个样本,和是总体的均值和方差, 是常数。是转载 2017-09-08 19:21:43 · 593 阅读 · 0 评论 -
浅谈协方差矩阵
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:均值:标准差:方差:均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],转载 2017-09-08 19:42:56 · 256 阅读 · 0 评论 -
深入理解递归函数的调用过程
在机器学习的编程中,常常在构建决策树等树形结构时需要用到递归函数,这里深入理解下递归的工作过程。出处:http://blog.csdn.net/t0nsha/article/details/5705641下面是个关于递归调用简单但是很能说明问题的例子:[cpp] view plain copy/*递归例子*/ #include转载 2017-09-11 10:41:41 · 1037 阅读 · 0 评论 -
集成学习算法总结----Boosting和Bagging
1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较高的准去率,不足之处就是模型的训练过程可能比较复杂,效率不是很高。目前接触较多的集成学习主要有2种:基于Boosting的和基于Bagging,前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。1.2 集成学习的主要思想 集成学习的主要思想是利用一定的手段学习出多个分类器,而且转载 2017-09-03 12:41:59 · 3784 阅读 · 0 评论 -
Bagging与随机森林算法原理小结(详解)
出处:http://www.cnblogs.com/pinard/p/6156009.html在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯转载 2017-09-03 12:51:13 · 2443 阅读 · 0 评论