机器学习
li_dongxuan
这个作者很懒,什么都没留下…
展开
-
机器学习:支持向量机(Support Vector Machine, SVM)
机器学习:支持向量机(Support Vector Machine, SVM)SVM是经典的监督型分类算法,广泛应用于机器学习、数据挖掘等领域。本质上SVM与线性回归方法类似,都是求一组权重系数。感知机(perceptron)分类算法由于样本顺序和不同初值会导致解的多样性,解不唯一,亦不为最优,而SVM本质上是解最优目标方程的过程,解唯一,而且对于线性不可分的样本集会通过kernelling将样本映原创 2017-02-18 15:32:15 · 878 阅读 · 0 评论 -
机器学习:机器学习中的损失函数
机器学习中的损失函数在机器学习中,损失函数是用来衡量预测结果与实际值之间差别大小的指标。一般的损失函数有5五种:一. Gold Standard(标准式,0-1式)主要用于理想sample,这种一般很少有实践场景,这个方法的作用更多的是用来衡量其他损失函数的效果。表达式如下:L(m)={01if m≥0if m<0L(m)=\begin{cases}0 & \textrm{if} \ \ m\原创 2017-02-18 15:28:36 · 2237 阅读 · 0 评论 -
机器学习:集成学习算法Bagging,Boosting
Bootstrap,Bagging,Boosting都属于集成学习方法,所谓集成学习方法,就是将训练的学习器集成在一起,原理来源于PAC (Probably Approximately Correct,可能近似正确学习模型)。在PAC学习模型中,若存在一个多项式级的学习算法来识别一组概念,并且识别正确率很高,那么这组概念是强可学习的;而如果学习算法识别一组概念的正确率仅比随机猜测略好,那么这组概念是原创 2017-02-18 15:36:12 · 5281 阅读 · 2 评论 -
机器学习:线性回归、局部加权线性回归、岭回归、前向逐步回归
所谓回归,简单来讲就是根据现有数据拟合出函数,然后根据该函数进行一些预测工作。分类的输出是标称型,而回归的输出为数值型。接下来介绍几种常见的全局型回归方法一. 线性回归(Linear Regression)对于二维数据而言,线性回归就是找出一个一次函数去拟合数据,使得平方误差最小。是的,这里的损失函数是平方损失。平方误差可以写做:∑im=(yi−xTiw)2\sum^m_i=(y_i-x_i^Tw)原创 2017-02-21 20:06:32 · 4650 阅读 · 0 评论 -
机器学习:k均值聚类
k均值(K-means)聚类算法是一种经典的非监督型机器学习算法。算法简单快速。一. 算法步骤(1)首先确定聚类的个数K,初始化K个质心,可以随机定位,也可以和现有数据点重合(2)对剩余的每个数据测量其到每个质心的欧式距离,并把它归到最近的质心的类(3)重新计算已经得到的各个类的质心(4)迭代直至新的质心与原质心相等或小于指定阈值,算法结束(5)若迭代次数达到预先设置的最大迭代次数,算法结束二. 算原创 2017-02-23 10:58:06 · 581 阅读 · 0 评论 -
机器学习:一些常见的监督型学习方法(K近邻、决策树、朴素贝叶斯、逻辑回归)
机器学习:一些常见的监督型学习方法(K近邻、决策树、朴素贝叶斯、逻辑回归)在机器学习中,无监督学习(Unsupervised learning)就是聚类,事先不知道样本的类别,通过某种办法,把相似的样本放在一起归位一类;而监督型学习(Supervised learning)就是有训练样本,带有属性标签,也可以理解成样本有输入有输出。所有的回归算法和分类算法都属于监督学习。回归(Regression)原创 2017-02-18 15:35:00 · 26302 阅读 · 3 评论 -
机器学习:Softmax回归
Softmax回归,我们可以说它是逻辑回归的在多分类问题下的推广,我们也可以说逻辑回归是Softmax回归的一种特殊形式。一. 假设函数在 softmax回归中,我们解决的是多分类问题(相对于 logistic 回归解决的二分类问题),类标 yy 可以取 kk 个不同的值(而不是 2 个)。因此,对于训练集 {(x(1),y(1)),…,(x(m),y(m))}\{ (x^{(1)}, y^{(1)原创 2017-04-24 23:51:54 · 416 阅读 · 0 评论