![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 78
chenzhijay
这个作者很懒,什么都没留下…
展开
-
模型选择之交叉验证
在机器学习的模型训练中,我们通常需要比较多个模型,从中选出一个最优的模型作为我们的最终模型。我们知道,超参数(hyper parameter)经常会作为模型的一个组成部分出现,比如说,在正则化后的logistic regression中,正则项和损失函数之间的参数t就是一个超参数,不同的t取值对应了不同的模型,我们对于t的选取实际上也就是对模型的选择,我们试图找到一个t,使得t对应的模型最优。再比原创 2014-11-11 15:28:42 · 7078 阅读 · 2 评论 -
模型选择之特征选择
当我们在训练模型时,其中一个很重要的部分是训练模型的参数,也就是模型中各个特征的值,不同的模型具有不同的特征组合,因此对于特征的选择也就对应了模型的选择。举个文本分类的例子,在文本分类的任务中,特征数量p远大于训练样本数n,而我们又知道特征里面有很大一部分是和类别无关的,因此我们就会想到用特征选择来把与类别相关的特征选出来。对于p个特征,会出现2p种特征的组合,也就对应了2p个模型,我们只要选择一原创 2014-11-12 15:03:18 · 7246 阅读 · 1 评论 -
EM算法
我们知道在机器学习中,很多时候问题都可以归结为一个最优化问题,而要解决这个最优化问题只需要求解出模型参数即可。大多数时候,只要给定数据可以直接用极大似然估计法估计模型参数。但是当模型里含有隐变量的时候,直接求解参数的极大似然估计就会失效。这时,就需要用到EM算法来对参数进行迭代求解。EM算法说白了也是求参数的极大似然估计,只不过它解决的问题是含有隐变量的模型参数的极大似然估计。EM算法是一个十原创 2014-11-03 20:06:13 · 1738 阅读 · 0 评论 -
EM算法的证明
上篇文章说了一些EM算法的原理性东西以及简单的应用,在平时的学习中,确实感觉EM算法太重要了,所以本文将对EM算法的合理性作一个解释,并给出其收敛性的证明。在上一篇文章中,我们提到了EM算法是解决含有隐变量的概率模型参数极大似然估计的方法。不过我们可能会问,为什么在求解完全数据的对数似然函数的期望时要用到隐变量Z的后验概率?为什么EM算法就一定能够保证收敛?下面我们来解决这些问题。这里,我原创 2014-11-04 16:14:55 · 2590 阅读 · 0 评论 -
特征选择与特征提取
在我刚开始接触机器学习的时候,总会被特征选择(feature selection)与特征提取(feature extraction)这两个概念搞得晕头转向,后来通过阅读scikit-learn的源码后发现这两者实际上是有很大区别的,本文主要介绍二者的区别。原创 2014-11-19 16:49:03 · 19249 阅读 · 9 评论 -
机器学习中的正则化技术
正则化(regularization)技术是机器学习中十分常用的技术,它用于防止模型过拟合,从而提高模型的泛化能力。本文主要介绍L1正则化和L2正则化以及它们在实际应用中的不同点。原创 2014-10-31 14:14:40 · 7405 阅读 · 1 评论 -
浅谈核方法
说到核方法(kernel method)或者核技巧(kernel trick),了解SVM的人一定不会陌生。当数据集线性不可分时,就要用到非线性分类器。SVM采取的做法是将数据映射到更高的维度,从而将数据集在高维空间转化成线性可分的,然后再用线性SVM去训练一个线性分类器。以上做法的实现方式就是通过核方法隐式地实现的。从上面可以看出,核方法是隐式地在高维的特征空间来计算向量的内积。但是本文要讲原创 2014-11-25 09:32:56 · 1740 阅读 · 0 评论