机器学习
文章平均质量分 76
Jacketinsysu
No persistence, no man.
展开
-
优化问题与KKT条件
“初学者”并不是不好好理解其中的数学的借口,终于下定决心好好理解SVM了,先从KKT条件开始。原创 2016-04-01 01:22:39 · 1149 阅读 · 0 评论 -
【机器学习实战】KNN
KNN是比较简单且好用的算法。 读本篇博客之前,需要先对numpy、scikit-learn有个基本的了解,因为它们都是python做科学计算、机器学习必备的好工具!还有就是需要了解cross validation(交叉验证),可参考我的另外一片博客:交叉验证A. 算法原理KNN是个怎样的算法呢?其实顾名思义就能猜个七八成了,k-nearest-neighbors,邻居?首先假设我们有一个计算两个原创 2016-03-20 13:11:02 · 1183 阅读 · 1 评论 -
scikit-learn常用的用法及问题
对平时用机器学习算法常遇到的问题做个总结~A. 交叉验证交叉验证是为了评估当前的模型对于整个dataset的generalization error怎么样(如果太大,表示overfit或者underfit),根据[3]的介绍,一般有三种,根据对数据集划分成training set和validation set的比例不同来分的——划分一小部分作为validation set; 划分成k等分(k >原创 2016-03-13 21:04:20 · 3517 阅读 · 0 评论 -
回归中的几个统计概念
如下图所示: 昨天做一个文本引用的回归分析,数据集和代码见我的github:https://github.com/cooljacket/TextReferenceRegression。 在做上述的线性回归的时候,发现cost一直很高,降不下来,学习速率调高到0.0975或以上,就会发现梯度下降变慢,甚至是变成不收敛的。然后出于数据集有点大,总共25000个sample,所以就采用了SGD来做,发原创 2016-03-28 09:51:25 · 798 阅读 · 0 评论