关闭

HMM(Forward algorithm)向前算法

由马尔科夫模型MM可知:对于一个系统,由一个状态转至另一个状态的转换过程中,存在着转移概率,并且这种转移概率可以依据其紧接的前一种状态推算出来,与该系统的原始状态和此次转移前的马尔可夫过程无关。隐马尔可夫模型(HiddenMarkov models,HMM)是马尔可夫链的一种,它的状态不能直接观察到,但能通过观测向量序列观察到,每个观测向量都是通过某些概率密度分布表现为各种状态,每一个观测向量是由一...
阅读(968) 评论(0)

VC维

为什么引入VC维 PAC中以|H |来刻画样本复杂度,它存在以下不足:可能导致非常弱的边界;对于无限假设空间的情形, 1/b*(log2(|H|)+log2(1/d))((2)式)根本无法使用。因此有必要引入另一度量标准VC 维。假设空间的VC 维, 用VCdim(H)表示, 被定义为最大的样本数d ,使得在所有可能的2 d 种二分(dichotomy)中,都能找到与该划分一致的一个假设。VC 维...
阅读(1599) 评论(0)

PAC可学习性

PACPAC可学习性 训练学习器的目标是,能够从合理数量的训练数据中通过合理的计算量可靠的学习到知识。 机器学习的现实情况: 1、除非对每个可能的数据进行训练,否则总会存在多个假设使得真实错误率不为0,即学习器无法保证和目标函数完全一致 2、训练样本是随机选取的,训练样本总有一定的误导性什么是PAC可学习的 弱化对学习器的要求: 1、我们不要求学习器输出零错误率的假设,只要求错误率被限制...
阅读(1402) 评论(0)

机器学习---假设的评估问题

机器学习的假设理论:任一假设若在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好地逼近目标函数。 伯努利分布的期望 np 方差 np(1-p) 训练样例(Sample)的错误率:errors 测试数据(data)的错误率:errorD评估偏差 bias=E(errors)-errorD 对于无偏估计(bias=0):h和S选择必须独立评估方差: 对于无偏的评估S,erro...
阅读(437) 评论(0)

K-means

K-Means 基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标. k个初始类聚类中心点的选取对聚类结果具有较大的 公式 影响,因为在该算法第一步中是随机的选取任意k个对象作为初始聚类的中心,初始地代表一个簇。该算法在每次迭代中对数据集中剩余的每个对象,根据其各个簇中心...
阅读(248) 评论(0)

决策树

决策树决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。决策树的构造决策树的构造 不同于贝叶斯算法,决策树的构造过程...
阅读(706) 评论(0)

集成学习

集成学习:有效的前提: 1. 每个弱分类器的错误率不能高于0.5。 2.弱分类器之间的性能要有较大的差别,否则集成效果不是很好。 集成学习的实验性结论: Boosting方法的集成分类器效果明显优于bagging,但是在某些数据集boosting算法的效果还不如单个分类器的。 使用随机化的人工神经网络初始权值来进行集成的方法往往能够取得和bagging同样好的效果。 B...
阅读(616) 评论(0)

KNN

KNNKNN方法虽然从原理上也依赖于极限定理,但在类别决策时,只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方 法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。KNN复杂度分析kNN算法本身简单有效,它是一种lazy-learning算法,分类器不需要使用训练集进行训练,训练时间复杂度为0。kNN分类的计算复杂度...
阅读(411) 评论(0)

机器学习过拟合问题

过拟合过拟合的定义 在对已知的数据集合进行学习的时候,我们选择适应度最好的模型最为最终的结果。虽然我们选择的模型能够很好的解释训练数据集合,但却不一定能够很好的解释测试数据或者其他数据,也就是说这个模型过于精细的刻画了训练数据,对于测试数据或者其他新的数据泛华能力不强。发生过拟合的原因 1)使用过于复杂的模型(dvc 很大); (2)数据噪音; (3)有限的训练数据。 a.由于对样本数据...
阅读(392) 评论(0)

贝叶斯学习、MAP、ML

贝叶斯估计与有监督学习如何用贝叶斯估计解决有监督学习问题? 对于有监督学习,我们的目标实际上是估计一个目标函数f : X->Y,,或目标分布P(Y|X),其中X是样本的各个feature组成的多维变量,Y是样本的实际分类结果。假设样本X的取值为xk,那么,根据贝叶斯定理,分类结果为yi的概率应该为: 因此,要估计P(Y=yi|X=xk),只要根据样本,求出P(X=xk|Y=yi)的所有估计,以及...
阅读(1340) 评论(0)

Mistake Bound Framework(出错界限模型)

Mistake Bound Framework(出错界限模型)Mistake Bound Framework So far: how many examples needed? What about: how many mistakes before convergence? Let’s consider similar setting to PAC learning: Instances draw...
阅读(308) 评论(0)

Agnostic Learning (不可知学习)

Agnostic Learning (不可知学习) Computational Learning Theory (Cont.)The Vapnik-Chervonenkis(VC) dimension- Shattering a set of instances - VC dimension - Definition and several examples The Vapnik-Che...
阅读(409) 评论(0)

PAC Learning Framework可能近似正确学习

Coffe TimeESP GAME用户做游戏的时候,对图片做语义标注SAmple Complexity: How many training examples are sufficient to learn the target concept? Version space introduction to machine learning: 20 computational learni...
阅读(1471) 评论(0)

概率图模型

人工智能coffe time 人工智能的新纪元 自然语言理解 智能机器人 上下文感知计算 视频自动识别 语音到语音的翻译 面向应用的机器学习 占据的份额较大计算机视觉:eigenfaces(图像向量) 8维的向量80%的准确度表征人脸Decorrelation: if D=M x~=G的转秩*xX~x~的转秩=G的秩概率图模型Probabilistic Graphical model提出的原...
阅读(153) 评论(0)

无监督学习

coffe Time> 类脑计算:根据一个图片进行分类,使用机器学习的方法。使用机器的消耗1000000w 而使用人脑20w。类似于大脑神经元的连接来做识别的硬件。 > Neuron > Synapse:Digital circuits和Nanotech(memristors忆阻) > 忆阻:the missing memristor found > 机器学习:学习一些参数 原空间问题转化为对偶问...
阅读(387) 评论(0)
    个人资料
    • 访问:97140次
    • 积分:2470
    • 等级:
    • 排名:第15933名
    • 原创:149篇
    • 转载:16篇
    • 译文:0篇
    • 评论:34条
    每个人都是过客,每个人都有故事
    也许深夜往往是人们内心最为脆弱的时刻。孤独,绝望,失意,无奈......这些复杂沉重的情绪会随着黑夜的来临不再躲藏。
    最新评论