关闭
当前搜索:

机器学习笔记-Logistic回归

回顾linear regressionlinear\ regression如果使用平方错误的话,我们可以很方便的解析出最好的ww是什么。即wbest=X†yw_{ best}=X^{\dagger} yLogistic Regression Problem问题的提出从一个人的身体数据来判断这个人有没有心脏病,这是一个典型的二元分类问题。Logistic Regression关注的是根据一个人的身体状...
阅读(364) 评论(0)

机器学习笔记-线性回归

Linear Regression Problem信用额度预测希望算法可以给出针对用户信用卡额度的预测,即当我们收集到用户的一些信息(如下),那么我们如何决定发放给该用户的信用额度呢? 线性回归这个问题要求我们的hypothesis可以给出实数范围内的预测结果。同样的从最简单的假设出发,对于每一个用户,x=(x0,x1,x2,⋯,xd)x = (x_0 , x_1, x_2, \cdots,...
阅读(271) 评论(0)

机器学习笔记-利用线性模型进行分类

理论部分 这一部分主要是为了证明为什么可以使用线性回归和逻辑斯蒂回归来做二元分类问题。 我们想要将已知的线性模型应用到二分类甚至是多分类的问题。我们已知的线性模型有如下的三种,它们有一个共同的地方是都会利用输入的特征计算一个加权和 s=wTxs = w^Tx。 线性分类不好解, 因为想要最小化E0/1(w)E_{0/1}(w)被证明是一个NP难问题。但相比之下,线性回归和逻辑斯蒂回归...
阅读(94) 评论(0)

SVM学习笔记-软间隔SVM

回顾 在上一篇中记录了Kernel SVM,利用核函数使得我们可以通过对偶形式的SVM解决非线性的问题,例如使用高斯核函数可以在无限维度的空间中寻找超平面。但是正如我们之前说到过的,高斯SVM在参数选择的不恰当的时候,也会出现overfit的情况。为什么SVM也会出现overfit的情况呢?一个原因可能是因为我们选择的特征转化太过于powerful,就算存在最大间隔的限制,最终也还是会出现过拟合...
阅读(1068) 评论(2)

SVM学习笔记-核函数与非线性SVM

核技术 回顾 上次讲到了SVM的对偶形式,这个对偶问题也是二次规划问题。所以可以使用二次规划的方法来解决。之所以要使用SVM的对偶形式,是因为它告诉了我们SVMSVM背后的一些几何意义,例如,对偶的SVM问题的解中αn≥0\alpha_n \ge 0所对应的那些点(zn,yn)(z_n, y_n)就是我们想要找的支撑向量。另一方面,这个对偶问题在求解的时候好像几乎和我们所在的空间的维度没有...
阅读(592) 评论(0)

SVM学习笔记-对偶形式的SVM

Roadmap 上一篇笔记讲述了一个模型:线性支撑向量机。其目的是要找一个比较“胖”的分割线或者叫分割超平面,因为这些比较“胖”的hyperplane对于测量误差是比较robust的。并且使用二次规划方法来解决这样的问题。 这篇将要讲述的是将这个模型转化为另一种形式,以使得该模型可以更容易的延伸到其他不同的各种各样的应用当中去。 Non-Linear Support Vector Mac...
阅读(488) 评论(0)

SVM学习笔记-线性支撑向量机

Linear Support Vector Machine Linear Classification Revisited 当数据是线性可分的时候,PLA算法可以帮助我们找到那个hyperplane。 Which Line Is Better? 对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程。 从VC bound的角度来说,上述三条线的复杂度是一样的...
阅读(2100) 评论(1)
    个人资料
    • 访问:88319次
    • 积分:1723
    • 等级:
    • 排名:千里之外
    • 原创:86篇
    • 转载:0篇
    • 译文:0篇
    • 评论:51条
    最新评论