机器学习
btbujhj
这个作者很懒,什么都没留下…
展开
-
机器学习(3)——SVM学习
重点梳理: (1)支持向量机SVM方法的关键是找到支持向量,怎么找呐? 通过找到拉格朗日乘子,每个样本都对应一个i,但是非支持向量对应的i=0。 这里还会得到超平面的参数b (2)支持向量中的标签用-1和+1,或者其他相反数对,不能用0和1。 (3)找到i≠0对应的支持向量后,只有这些支持向量对分类有用,非支持向量对后面的原创 2017-06-29 16:10:09 · 278 阅读 · 0 评论 -
机器学习(1)--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类。 logistic回归虽然也是叫回归,其实本身是用来分类的,logistic可以被看成是一种概率的估计,类似于线性回归的归一化,将输出值映射为(0,1),输入值大于0.5被分为1类,小于0.5被分为0类。转载 2017-06-22 09:25:21 · 790 阅读 · 1 评论 -
机器学习(2)朴素贝叶斯Naive Bayesian 应用举例
一、朴素贝叶斯算法介绍 朴素贝叶斯,之所以称为朴素,是因为其中引入了几个假设。而正因为这几个假设的引入,使得模型简单易理解,同时如果训练得当,往往能收获不错的分类效果,因此这个系列以naive bayes开头和大家见面。 因为朴素贝叶斯是贝叶斯决策理论的一部分,所以我们先快速了解一下贝叶斯决策理论。 举例: 假设有一个数据集,由两类组成(简化问题),对于原创 2017-06-23 14:56:03 · 692 阅读 · 0 评论 -
机器学习(4)—— Adaboost学习
《机器学习实战》第七章 总结:Adaboost是一个2分类器 Adaboost其中的弱分类器可以是任意一种分类器,但是常用的是单层决策树 每一层弱分类器包括:特征维度Index; 阈值(在这一特征维度上的); 哪边是正lt or gt; 弱分类器的权重αi 每一层弱分类器的确定包含三个循环:特原创 2017-07-03 11:04:07 · 257 阅读 · 0 评论 -
机器学习(5)——回归
这里的回归不是logistic回归,logitistic回归实际上是一个分类器! 一、线性回归(最小二乘) 通过最小化平方误差,求解回归系数w。即平方误差对w求导=0,解w。 w=(X.T * X).I * X.T *Y eg:最佳你和曲线 二、局部加权线性回归LWLR 局部加权回归其实只是相当于对不同样本之间的关系给出了一个权重,所以叫原创 2017-07-03 16:50:31 · 583 阅读 · 0 评论 -
机器学习(1.1)——Logistic回归的详细推导
这篇文章写得太好了,正好我也在看机器学习实战这本书! 机器学习实战书中没有具体推理权重向量θ更新的过程,仅仅是下面三行代码 (1)求A=x.θ; (2)求E=sigmoid(A)-y; (3)求θ:=θ-α.x'.E,x'表示矩阵x的转置。 为什么这样更新??? Logistic回归总结 作者:洞庭之子 微博:洞庭之子-Bing转载 2017-06-25 21:53:28 · 747 阅读 · 0 评论