机器学习
文章平均质量分 77
小羊哈利
这个作者很懒,什么都没留下…
展开
-
奇异值分解SVD
主要参考http://blog.chinaunix.net/uid-20761674-id-4040274.html 个人总结如下:任何矩阵M都可以分解成M=U∑VM=U{\sum}V的形式,其中∑{\sum}是一个对角矩阵diag{u1,u2....un}diag\{u_1,u_2....u_n\}(其中uiu_i是矩阵M的特征值或者奇异值)。然后上篇文章给出了大篇幅的证明,其实也蛮容易看懂原创 2016-02-15 20:29:54 · 453 阅读 · 0 评论 -
统计学习-SVM支持向量机
SVM(support vector machine)是机器学习中比较普及的一种线性分类器。我们知道,学习机器(就是训练得到的分类器对事物进行分类)的实际风险由经验风险和置信范围两部分组成。所谓经验风险,就是对训练数据进行学习得到的训练误差,所谓置信范围就是训练结果的适用范围。单纯看重经验风险会产生过拟合现象,也就是训练误差很小但是测试误差很大。 SVM是以训练误差作为优化问题的约束条件,以置信范原创 2016-03-17 20:26:24 · 1032 阅读 · 0 评论 -
统计学习-逻辑回归(LR)和最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大熵是概率模型学习中的一个准则,将其推广到分类问题得到的最大熵模型(maximum entropy model)。LR和MEM都属于对数线性模型。二项逻辑斯蒂回归模型二项逻辑斯蒂回归模型是一种分类模型,由条件概率分布P(Y|X)P(Y|X),形式为参数化的逻辑斯蒂分布。这里XX随机变量为实数,YY随机变量为1或者0:原创 2016-10-03 15:23:23 · 3657 阅读 · 0 评论 -
统计学习-决策树
决策树(decision tree)是一种基本的分类和回归方法。 主要优点:模型具有可读性(直观),分类速度快。 决策树学习通常包含三个步骤,特征选择,决策树的生成和决策树的剪枝。经典的决策树算法包括:Quinlan在1986年提出的ID3算法,1993年提出的C4.5算法以及由Breiman等人在1984年提出的CART算法。决策树的模型分类决策树模型是一种描述对实例进行分类的树形结构。用决策原创 2016-10-01 12:02:37 · 655 阅读 · 0 评论 -
统计学习-朴素贝叶斯
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布,然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 也就是说朴素贝叶斯可以分为两部分,一部分是基于特征条件独立假设求出输入输出的联合概率分布,一部分就是基于贝叶斯定理求出后验概率。 1.P(x,y)=P(x|y)∗P原创 2016-09-27 23:39:50 · 377 阅读 · 0 评论 -
统计学习-KNN
KNN是一种基本的分类(由与该样本最近的k个样本进行投票表决)与回归方法(回归问题:可以将一个样本的k个近邻的平均属性或者加权平均属性赋予该样本)。k值的选择,距离度量以及分类决策规则是KNN的三个基本要素。KNN1968年由Cover和Hart提出。1.距离的度量1.1闵可夫斯基距离 闵可夫斯基距离不是距离,是一组距离的定义。 Lp(xi,yi)=(∑nl=1∣∣xli−xlj∣∣p)1pL_原创 2016-09-27 21:35:46 · 399 阅读 · 0 评论 -
统计学习-基本术语和概念
1.统计学习和机器学习: 统计学习就是计算机系统通过利用数据和统计方法提高系统性能的机器学习,如今的机器学习一般指的就是统计学习。所谓的系统性能一般指对数据的分析和预测能力。2.输入空间,输出空间,特征空间 将输入和输出所有可能的取值称之为输入空间和输出空间; 每个输入实例通常由一个特征向量进行表示,这样所有的特征向量构成了特征空间。有的时候输入空间和特征空间是相同的,有的时候是不同(比如:输原创 2016-09-27 14:50:32 · 1112 阅读 · 0 评论 -
统计学习-感知机
感知机(perceptron)是二类分类的线性模型,其输入为实例的特征向量,输出为实例的类别,取值(-1,+1)。感知机由1957年Rosenblatt提出,是神经网络和SVM的基础。1.感知机模型: f(x)=sign(w∗x+b)f(x)=sign(w*x+b)对应于下图中的黑线,专业术语就是分离超平面(separating hyperplane).红色点标记为+1,蓝色点标记为-1。感知机可原创 2016-09-27 16:21:12 · 313 阅读 · 0 评论 -
主成分分析PCA
主要参考这篇文章: http://blog.sina.com.cn/s/blog_3f738ee00102vakz.html个人总结:PCA是一种对采样数据提取主要成分,从而达到降维的目的。相比于上篇文章介绍到的SVD降维不同,SVD降维是指减少数据的存储空间,数据的实际信息没有缺少。个人感觉PCA更类似与SVD的去噪的过程。PCA求解过程中,涉及到了SVD的使用。针对数据集D={d1,d2原创 2016-02-16 09:58:41 · 381 阅读 · 0 评论 -
优化问题
线性规划优化目标和约束条件都是线性的优化问题,属于线性规划,其主要解法有:图解法单纯形法整数规划在线性规划问题的基础上,可能某些问题存在必须是整数的约束,那么这就转化为整数规划问题,主要解法有:分支定界法‘割平面法非线性规划优化目标或者约束条件存在非线性的优化问题,属于非线性规划,其主要分为无约束问题和有约束问题。下面介绍几个重要的概念:凸函数和严格凸函数 形如f(αx1+(1−α)x原创 2016-03-17 22:05:18 · 1665 阅读 · 0 评论 -
统计学习-提升方法
提升(boosting)方法是一种常用的统计学习方法,在分类问题中,通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类性能。AdaBoost算法1.基本思想: Kearns和Valiant提出了“强可学习”(strongly learnable)和“弱可学习”(weakly learnable):在概率近似正确(probably approximately correct原创 2016-10-03 18:40:09 · 1173 阅读 · 31 评论