crb的博客

  即： 一阶泰勒展开：另外： 

AUC是衡量二分类模型优劣的一种评价指标，其他评价指标有精确度、准确率、召回率，而AUC比这三者更为常用。因为一般在分类模型中，预测结果都是以概率的形式表现，如果要计算准确率，通常都会手动设置一个阈值来将对应的概率转化成类别，这个阈值也就很大程度上影响了模型准确率的计算。AUC能很好描述模型整体性能的高低。从一定程度上讲,它可以描述预测结果中正例排在负例前面的概率。AUC（Area under...

近段复习到SVM，对SVM中的对偶问题又进行了进一步的理解：对于为什么要引入对偶问题：这涉及到凸优化的知识：首先是我们有不等式约束方程，这就需要我们写成min max的形式来得到最优解。而这种写成这种形式对x不能求导，所以我们需要转换成max min的形式，这时候，x就在里面了，这样就能对x求导了。而为了满足这种对偶变换成立，就需要满足KKT条件（KKT条件是原问题与对偶问题等价的必要条件...

 L1、L2正则化来源推导L1L2的推导可以从两个角度：带约束条件的优化求解（拉格朗日乘子法） 贝叶斯学派的：最大后验概率1.1 基于约束条件的最优化对于模型权重系数w的求解释通过最小化目标函数实现的，也就是求解：首先，模型的复杂度可以用VC来衡量。通常情况下，模型VC维与系数w的个数成线性关系：即：w数量越多，VC越大，模型越复杂为了限制模型的复杂度，我们要降低V...

复习到特征工程，联想到了PCA，就小结一下：1、核心：PCA的思想是基于最大方差理论（某一维方差越大代表了包含了原始数据的绝大部分信息，这也可以从信息论的角度理解，信息熵），将n维特征映射到k维上（k<n），这k维是全新的正交特征。注意：这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。2、数学上的推导：补充： ...