- 博客(8)
- 收藏
- 关注
RSS订阅转载 正则化项L1和L2
L1和L2正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过你和而加在损失函数后面的一项。 L1是模型的各个参数的绝对值之和 L2是模型各个参数的平方和的开方值 区别： L1会趋向于产生少量的特征，而其他的特征都是0。 从图形上理解：应为最优的参数值很大概率出现在坐标轴上，这样就导致某一维的权重为0，产生稀疏权重矩阵。 从贝叶斯的角度理解：加上正则...
2018-10-02 16:51:00
93
转载 bayes学习笔记
贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率,就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。 为什么是对一个新的实例进行分类的时候总是由其最大后验概率进行分类呢？ 后验概率最大化的含义： 朴素贝叶斯法将实例分到后验概率最...
2018-10-02 14:06:00
152
转载 LDA和PCA降维的原理和区别
LDA算法的主要优点有： 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 LDA算法的主要缺点有： LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。 LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然...
2018-10-02 11:50:00
585
转载 PCA学习笔记
主成分分析（Principal Component Analysis，简称PCA）是最常用过的一种降维方法 在引入PCA之前先提到了如何使用一个超平面对所有的样本进行恰当的表达? 即若存在这样的超平面，那么它大概应具有这样的性质： 最大可分性：样本点在这个超平面的投影尽可能分开。 最近重构性：样本点到这个超平面的距离都足够近。 ...
2018-09-25 20:27:00
99
转载 LDA学习笔记
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法。其思想非常朴素，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类的样例的投影点尽可能的远离，在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。 右图要比左图的投影效果好，因为...
2018-09-25 19:27:00
192
转载 SVM学习笔记
关于统计学习方法中李航SVM学习笔记： 支持向量机（support vector machines，SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；关于感知机的介绍有时间再做。 关于支持向量机中的内容比较多，本文关于李航统计学习中关于支持向量机的顺序进行整理，即： 硬间隔支持向量机（函数间隔、几何间隔、间隔最大化、支持...
2018-09-25 11:20:00
200
转载 决策树学习笔记
对于李航统计学习方法中决策树的学习想从一下几个角度进行整理： 1.决策树介绍 2.熵，信息增益，信息增益率，基尼指数 3.决策树的生成算法（ID3，C4.5，CART） 4.决策树的减枝 1.决策树介绍 1.1决策树的模型： 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或...
2018-09-15 22:35:00
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人