这是一个关于科研民谣运动生活以及爱的博客

0.逻辑回归，回归，千万别被这个名字给骗了。逻辑回归更多的用在分类问题上，就像是贝叶斯那样。逻辑回归的模型分别给出样本的Y是+1和-1的概率，然后根据概率值的大小，对样本的类别进行预测。1.逻辑回归，它先计算一个得分(score,简称s)，然后通过sigmoid函数(S型函数)将这个得分转换成概率值。这么做有什么道理？请往下看两段。sigmoid函数： sigmoid函数图像： 逻辑回归的模型：

就先写这么多吧~~ 如果有一些比较好的想法，或者看到别人写的比较对自己胃口的博客，我还是会继续更新<机器学习总结>这个系列的。 接下来准备写一下《算法第四版，Robert sedgewick著》的课后题。毕竟马上要开始找工作了，算法也该刷一刷了。 好运~~

0.从模型融合开始说起。 有时候我们会想到这么一个问题：我们能不能把几个模型融合在一起达到更好的效果呢？当然可以了。 假设现在有g1,g2,..gng_1,g_2,..g_n,这n个模型，将这n个模型融合起来的基本策略大概有这么几种： 1、从这n个模型中，选出来一个误差最小的。 2、将每个模型都同等对待。 3、给每个模型不同的权重。(通过线性回归求解各个权重)

1(1)分类，拟合，回归的区别？前几天用到了MATLAB中的多项式拟合函数和线性回归函数，然后发现有些概念和我理解的不一样。我就把我对这三个概念的理解说一下。 分类：在之前两讲中讲的算法PLA和朴素贝叶斯都是用来解决分类问题的。在二分类中，Y=+1或-1。分类问题是找到一个最好的超平面将不同的样本分开。 回归：回归问题的输出Y不只是局限在+1或者-1中，通常Y可以取整个实数空间的任意值。在这里我

1.纠结了好一阵这一节写哪一个算法，最后决定先把容易写的给总结出来。朴素贝叶斯，我们从名字上就可以明显感觉到这是和概率有着很大关系的一个算法。我们在这里只谈二分类的问题，我觉得如果你会通过贝叶斯解决二分类问题，那多分类问题也不是一件难事了。(0)贝叶斯公式P(Y,X)=P(Y|X)×P(X)=P(X|Y)×P(Y) P(Y,X)=P(Y|X)\times P(X)=P(X|Y)\times P(Y)

学习理论主要想表达的东西想一下，在什么样的情况下，我们会想到机器学习。可能你在碰到这么一个问题时：你现在有很多有癌症和没有癌症的人的身体情况资料，然后让你判断一个人是否患有癌症。在你碰到这个问题的时候，你会说现在有了现成的训练集，我把它扔到机器学习算法里去学习一下，学习出来一个模型，然后就可以做判断了啊！！这很easy啊。在这一讲里面，我想说的就是，为什么这么做是有效的？在这个看起来很easy的做法

1.正式开始之前的描述(1)PLA：Perceptron Learning Algorithm。 在正式开始之前，我想先说一下，PLA到底是干嘛的。大部分机器学习的书以及视频都是以感知机算法作为开头的。既然放在最前面，它应该就是一个很简单的机器学习算法。事实上，它确实很简单。 如下图所示: 红色和蓝色的点分别表示训练集中的正样本和负样本，PLA的任务就是寻找下面那条能将训练集完全分开的蓝色直线。

写在前面的话兜兜转转，一年有余，期间看了一些关于机器学习的视频，博客和书籍。看过不同的人对机器学习不一样的认识之后，自己也偶有所思。所以有此总结，以便回顾。如果我的总结能够帮助到你，请你不要吝啬你的赞美。哈哈哈~~。原本是打算在纸上写个总结的，无奈发现，白纸黑字记下来之后，想要做点更改，着实有点麻烦。然后发现csdn有类似latex的编辑器，解决了公式编辑的问题，那就索性开个博客吧。一直以来，都是在

0.支持向量机，非常非常非常经典的一个算法。看起来也特别费劲，看SVM的时候先别有一次性就能全面整明白的准备，可能要反反复复看许多不同的文章不同的资料，或许某一天，一切都明朗了。然后你会发现，之前的所有挣扎所有努力都是值得的，真的是很有启发性。 我不准备具体写SVM算法的整个流程。因为我感觉我写也写不好，写不好就怕给这个算法粘上一些污点，所以我想推荐一些文章和视频： 1.july大神的支持向量

0.先通过一个例子引入： 例子转自：http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html 如果对树结构有所了解的话，很容易生成一个树， 这就是一个决策树，通过这个树就可以判断出女孩到底会不会去见一个相亲对象。 我们可以看到决策树描述了整个做决定的过程，它和人们实际做决定的过程非常的类似，有