关闭

机器学习笔记-Logistic回归

回顾linear regressionlinear\ regression如果使用平方错误的话,我们可以很方便的解析出最好的ww是什么。即wbest=X†yw_{ best}=X^{\dagger} yLogistic Regression Problem问题的提出从一个人的身体数据来判断这个人有没有心脏病,这是一个典型的二元分类问题。Logistic Regression关注的是根据一个人的身体状...
阅读(273) 评论(0)

机器学习笔记-线性回归

Linear Regression Problem信用额度预测希望算法可以给出针对用户信用卡额度的预测,即当我们收集到用户的一些信息(如下),那么我们如何决定发放给该用户的信用额度呢? 线性回归这个问题要求我们的hypothesis可以给出实数范围内的预测结果。同样的从最简单的假设出发,对于每一个用户,x=(x0,x1,x2,⋯,xd)x = (x_0 , x_1, x_2, \cdots,...
阅读(207) 评论(0)

机器学习笔记-利用线性模型进行分类

理论部分 这一部分主要是为了证明为什么可以使用线性回归和逻辑斯蒂回归来做二元分类问题。 我们想要将已知的线性模型应用到二分类甚至是多分类的问题。我们已知的线性模型有如下的三种,它们有一个共同的地方是都会利用输入的特征计算一个加权和 s=wTxs = w^Tx。 线性分类不好解, 因为想要最小化E0/1(w)E_{0/1}(w)被证明是一个NP难问题。但相比之下,线性回归和逻辑斯蒂回归...
阅读(14) 评论(0)

SVM学习笔记-软间隔SVM

回顾 在上一篇中记录了Kernel SVM,利用核函数使得我们可以通过对偶形式的SVM解决非线性的问题,例如使用高斯核函数可以在无限维度的空间中寻找超平面。但是正如我们之前说到过的,高斯SVM在参数选择的不恰当的时候,也会出现overfit的情况。为什么SVM也会出现overfit的情况呢?一个原因可能是因为我们选择的特征转化太过于powerful,就算存在最大间隔的限制,最终也还是会出现过拟合...
阅读(489) 评论(1)

SVM学习笔记-核函数与非线性SVM

核技术 回顾 上次讲到了SVM的对偶形式,这个对偶问题也是二次规划问题。所以可以使用二次规划的方法来解决。之所以要使用SVM的对偶形式,是因为它告诉了我们SVMSVM背后的一些几何意义,例如,对偶的SVM问题的解中αn≥0\alpha_n \ge 0所对应的那些点(zn,yn)(z_n, y_n)就是我们想要找的支撑向量。另一方面,这个对偶问题在求解的时候好像几乎和我们所在的空间的维度没有...
阅读(260) 评论(0)

SVM学习笔记-对偶形式的SVM

Roadmap 上一篇笔记讲述了一个模型:线性支撑向量机。其目的是要找一个比较“胖”的分割线或者叫分割超平面,因为这些比较“胖”的hyperplane对于测量误差是比较robust的。并且使用二次规划方法来解决这样的问题。 这篇将要讲述的是将这个模型转化为另一种形式,以使得该模型可以更容易的延伸到其他不同的各种各样的应用当中去。 Non-Linear Support Vector Mac...
阅读(340) 评论(0)

SVM学习笔记-线性支撑向量机

Linear Support Vector Machine Linear Classification Revisited 当数据是线性可分的时候,PLA算法可以帮助我们找到那个hyperplane。 Which Line Is Better? 对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程。 从VC bound的角度来说,上述三条线的复杂度是一样的...
阅读(1853) 评论(1)

决策树ID3算法及java实现

0. 信息论信道模型和信息的含义信息论是关于信息的本质和传输规律的理论。 信道模型:信源(发送端)-> 信道 -> 信宿(接收端) 1. 通信过程是在随机干扰的环境汇中传递信息的过程 2. 信宿对于信源的先验不确定性:在通信前,信宿不能确切的了解信源的状态; 3. 信宿对于信源的后验不确定性:在通信后,由于存在干扰,信宿对于接收到的信息仍然具有不确定性 4. 后验不确定性总是要小于先验不确...
阅读(365) 评论(0)

机器学习--knn手写数字识别系统

0. 刚接触java,并且在学习机器学习的相关算法,knn又非常的易于实现,于是就有了这个小系统。 1.knn算法简介: 2.该程序的功能主要有如下几个,       功能1:可以在面板上手写输入数字       功能2:可以对特定的区域进行截屏,因为要获取用户手写的数字,保存为图像,然后使用算法进行分析       功能3:可以对图片进行缩放,要保证图片的大小(维度)要和...
阅读(668) 评论(0)

机器学习之线性回归-AndrewNg学习笔记

监督学习 从讨论监督学习问题的例子出发,假设我们有某个地区住房面积和相应房价的数据集合。对于这样的给定的数据, 我们的目的是要利用已有的信息,来对房价建立预测模型。即对于给定的房屋信息(房屋面积)预测其房价。 为了方便以后的使用,我们首先定义一些符号标记。我们使用x(i)表示输入变量(或者是特征),使用y(i)表示我们将要预测的输出变量或者说是目标变量(或者叫做标记)。(x(i), y(i))...
阅读(772) 评论(0)
    个人资料
    • 访问:70326次
    • 积分:1435
    • 等级:
    • 排名:千里之外
    • 原创:75篇
    • 转载:0篇
    • 译文:0篇
    • 评论:47条
    最新评论