- 博客(3)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 条件熵
以前对条件熵的计算存在误解。这里记录一下正确的理解方式注意，这个式子是H(x|yj)而非H(x|y)，所以条件熵一般是指某个具体yj的情况下计算的x的熵。而H(x|y) 则是如此计算的：H(x|y) = p(y1)*H(x|y1) + ……+p(yj)*H(x|yj)
2016-07-28 16:04:27
943
原创 SVM的核函数
看了pluskid的文章中关于SVM核函数，有些地方反复理解了很久才懂，所以对原文的语句进行修改，写下自己的理解过程，以后回忆方便。线性情况下的支持向量机对非线性的数据没有办法处理。例如图中的两类数据（线性不可分），分别分布为两个圆圈的形状，线性SVM没法处理。但是我们可以想到，对于上面的数据集，一个理想的分界应该是一个“圆圈”而不是一条线（
2016-07-26 16:27:56
2927
原创 SVM如何避免过拟合
过拟合（Overfitting）表现为在训练数据上模型的预测很准，在未知数据上预测很差。过拟合主要是因为训练数据中的异常点，这些点严重偏离正常位置。我们知道，决定SVM最优分类超平面的恰恰是那些占少数的支持向量，如果支持向量中碰巧存在异常点，那么我们傻傻地让SVM去拟合这样的数据，最后的超平面就不是最优的。如图1所示，深红色线表示我们希望训练得到的最优分类超平面，黑色虚线表示由于过拟合得到
2016-07-26 10:48:07
27893
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人