![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网易机器学习
文章平均质量分 64
普通网友
这个作者很懒,什么都没留下…
展开
-
机器学习第三课--LWR的疑惑与想法
(1)局部加权回归算法作为非参数化学习算法的一个例子,虽然我大概知道此算法想要表达的意思,但还是有一些困惑:a.在使得目标函数J(\theta)最小化的过程中,既然不同的权值w(i)会因为x(i)与选定的点x 的距离远近的不同而不同,当权值w(i)为0时候,是否\theta的值可以随便取(因为此时的\theta所对应的w(i)为0)。经过查看讲义,明白如下:w(i)的值不可能取为0,且非负原创 2014-02-07 23:09:48 · 733 阅读 · 1 评论 -
机器学习第四课--牛顿方法
我一直想要弄清楚各个算法之间的联系,不过不一定这么容易做到。(1)首先,可以看出的是:牛顿方法可以较快的速度求出一个函数的零点所在的位置,应用在logistic回归模型中的作用是求出似然函数的最大值;其实第二课的梯度下降法也同样用于求极值(当然两种方法都不仅仅应用在logistic回归模型上)。两者的表达式如下:梯度下降法:原创 2014-02-08 17:14:40 · 617 阅读 · 0 评论 -
机器学习第五课----朴素贝叶斯应用于垃圾邮件过滤
看了视频也看了笔记,写下自己困惑的点以及后来想明白的原因。(1)朴素贝叶斯的前提假设:在分类问题上,假设各个特征之间出现的概率相互独立。在老师的邮件过滤问题上,如下式所示:概率相互独立,自然好理解。但我一开始不清楚这个xi的含义。当我将它看成是特征时就好办了,一个邮件看成是X,X由多个word组成,那么每一个不同的word就是其中的特征xi。(2)通过最大似然估计得出来的参数是用来原创 2014-02-10 20:39:27 · 801 阅读 · 0 评论 -
机器学习第六课---SVM(1)
(1)在前几个课程学习过程中没有发现,后来才突然想到的一个问题是:为什么logistic 回归依然算是线性分类器呢?在logistic回归中,h(x) = g( \theta*x ),而这个g( z ) = 1/(1- exp(-z)),在我的理解中它不应该属于线性分类器了吧。解释:我们判断一个新的输入样本属于哪一类的时候,是依据 h(x) 与0.5的大小关系来判断的(其实从logistic原创 2014-02-11 23:45:43 · 662 阅读 · 0 评论 -
机器学习第七课--SVM(2)拉格朗日算子
这节课听得吃力,能够理清主要知识点是目标。lagrange算子用于解决有限制条件的最优化问题,其中,有一种只带等式限制条件的优化问题的形式是:那么使用lagrange乘数法,先构建一个lagrange算子:其中的Bi称为lagrange乘数。进而对lagrange算子求w 与 Bi 的偏导,并令这两个偏导数的值为零,表达式为:由此求出的就是满足问题的最优解翻译 2014-02-12 23:33:31 · 2080 阅读 · 0 评论 -
机器学习第八课——SVM(3)核函数与SMO算法
(1)简单回顾。在继续学习之前,我要重新梳理一下上一节课的思路。未必都能够消化的前提下,这样做是必要的。问题思路:求解最优间隔分类器的时候,我们如何求解出W,b,和 a ?假设原问题的形式为: 对应的lagrange函数是: 我们通过相应的转换可以得到相应的dual问题形式:首先在假定a为定值的前提下,求解lagrange函数对w 和 b 的偏导数,并使得偏原创 2014-02-15 11:50:31 · 1196 阅读 · 0 评论 -
机器学习第二课--梯度下降法(问题与想法)
之前看过一遍网易的机器学习,看得比较草率,一些深入的问题没有考虑过。现在尝试写下来,看看是否有不一样的收获。课堂的知识不重复,只写自己的思考与疑惑。(1)目标函数可以写成: 其中的h(x)可以是一次线性函数,也可以是二次函数,更可以是高次函数。不过不管h原创 2014-02-07 15:26:58 · 659 阅读 · 0 评论 -
机器学习--对1-8课学习过程的小结
翻开自己一路写下来的机器学习的博客,有些遗憾的是:我自己都基本上理不清博客的思路。这是由我一开始定下的规则有关--只写自己不懂的地方与自己的思考,这就造成了可阅读性很差,可能在学习的工程中理解了知识点,但是对于之后自己的整理以及他人的阅读都是不方便的。反倒是需要查看别人写的相关的博客来给自己理清思路。看来我需要调整写博客的规则了--记下学习的内容,同时记下自己的不解困惑与思考。推荐两个博客,里原创 2014-02-15 20:33:55 · 663 阅读 · 0 评论 -
机器学习第九课--经验风险最小化、一致收敛
这节课讲的内容是关于学习理论的。老师说,检测机器学习学得是否扎实,可以从是否熟悉这方面的知识来做出相应的检测。我之前听说过VC维,但认为这个知识点太难了,好像跟我要用到的知识没啥关系(当时是个新手,接到的任务就是用神经网络识别车牌字符,连最基本的理论知识都没有的情况下就学习所谓的神经网络,自以为学得不错,于是有些沾沾自喜;而且将自己定位为对模式识别方面挺不错的一个人),就没有在意。现在才慢慢了解到原创 2014-02-18 23:38:53 · 1657 阅读 · 2 评论