机器学习
文章平均质量分 89
本专栏专注于机器学习系列算法
背包_十年
机器学习、计算机视觉、语音识别等方向学习。
展开
-
[机器学习一]之贝叶斯系列
第1章 贝叶斯定理1.1 基本概念1.2 全概率公式1.3 贝叶斯公式1.4 参考文献第2章 贝叶斯决策理论2.1 贝叶斯决策理论2.2 贝叶斯分类规则2.2.1 决策错误概率(probability of decision error)2.2.2 平均风险最小(minimizing the average risk)第3章 决策函数与决策面3.1 决策面...原创 2018-02-14 11:21:41 · 2167 阅读 · 0 评论 -
[贝叶斯九]之EM算法
一、简单介绍EM(Expectaion Maximization)算法(又称为期望最大化方法)是一种迭代算法,Dempster等人在1977年总结提出来的。简单来说EM算法就是一种含有隐变量的概率模型参数的极大似然估计。EM算法的每次迭代由两步组成:第一是求期望,第二是求极大。EM算法在机器学习中有极为广泛的应用。如常被用来学习高斯混合模型(Gaussian mixture model, 简称...原创 2018-02-27 17:12:15 · 1182 阅读 · 0 评论 -
[贝叶斯八]之极大似然估计
一、简单介绍极大似然估计是根据观察数据来估计模型参数的方法,即“模型已定,模型未知”。它是参数估计的一种方法,请参考《概率论与数理统计(浙大第四版)》中参数估计。 举个例子,大家都知道抛硬币的实验: 假设有一枚不规则的硬币,要计算它正面朝上的概率。其实就是估计一个二分布的参数。现在我们开始做实验,抛了10次,得到相应的结果。那么如何根据这些结果来估计我们的参数呢?这就是极大似然估计要处理...原创 2018-02-08 22:01:30 · 271 阅读 · 0 评论 -
[贝叶斯七]之正态分布贝叶斯决策
贝叶斯是非常传统,理论简单,但是非常有效的一种机器学习方法。经过大量实验表明,贝叶斯方法是极具鲁棒性的。至今为止仍然有很多人在研究贝叶斯的基础理论,而且发现许多算法都可以由贝叶斯推导而来,所以贝叶斯是具有极大的研究价值的理论。 这一章节我们就来扯一扯正态分布数据的贝叶斯决策理论,看看我们能搞点什么事情出来。自己多多推导,没准能发现新的大陆。许多优秀的算法,比如SVM等等往往就是这样诞生的。...原创 2018-02-08 21:55:18 · 10166 阅读 · 1 评论 -
[贝叶斯六]之朴素贝叶斯分类器设计
同样,类似于[贝叶斯四]之贝叶斯分类器设计,我们用一个例子:字母分类,来阐述朴素贝叶斯分类器的设计。老套路,搞个三部曲:特征向量生成决策函数设计模型训练在做问题分析之前,请先做数据集的分析。一、数据集分析数据集来自于UCI: UCI字母分类数据集链接这个数据集原始数据一共包含20000张图像(一般取前16000张图像作为训练,后4000张图像作为测试),每张图像经过...原创 2018-02-07 21:50:05 · 1011 阅读 · 0 评论 -
[贝叶斯五]之朴素贝叶斯
一、前因这一章节依然是基础知识,贝叶斯分类器的核心就是要计算出后验概率p(wi|x)p(wi|x)p(w_i|x),依据贝叶斯定理 p(wi|x)=p(x|wi)p(wi)p(x)p(wi|x)=p(x|wi)p(wi)p(x)p(w_i|x) = \frac {p(x|w_i)p(w_i)}{p(x)}其中: p(wi)p(wi)p(w_i)是类别iii出现的概率,这个比较好求...原创 2018-02-07 16:56:19 · 298 阅读 · 0 评论 -
[贝叶斯四]之贝叶斯分类器设计
这一小节我们将简单的阐述一般贝叶斯分类器设计的方法。分类器流程如下所示。输入:d-dim 特征向量计算决策函数值(针对每个类别)选取最大的值做出决策输出结果如下图可以清楚的表达整个分类器工作的流程。借用《算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)》的一张图来表示整个设计的流程。下面我们将以两个小例子来贯穿...原创 2018-02-06 22:12:12 · 2145 阅读 · 0 评论 -
[贝叶斯三]之决策函数和决策面
一、决策面(Decision Surfaces)1.1 概念如果输入的数据是一个LLL维空间特征,考虑一个MMM分类问题,那么分类器将会把这个LLL维空间的特征点分为MMM个区域。每个区域显然就属于一个类别,如果输入一个点xxx落在第iii个区域,那么xxx就属于第iii类。分割成这些区域的边界就称为决策面。1.2 例子下面是一个简答的例子:输入是一维,决策函数是p...原创 2018-02-07 15:08:05 · 9236 阅读 · 0 评论 -
[贝叶斯二]之贝叶斯决策
生活中的许多决策都是不确定性的,比如明天是否下雨,我需要带伞么?这个时候就需要我们做出决策,如果认为明天会下雨,显然我们就会带上伞,否则不然。那么这个时候我们怎么判断我们的决策是否可信?又是否是最佳的决策呢?这个时候往往就需要引入评价准则(evaluation criteria)。不同的评价准则在相同的决策机制中往往会导致不同的决策结果。贝叶斯决策常用的评价准则一般如下。最小错误概率(T...原创 2018-02-04 22:05:27 · 882 阅读 · 0 评论 -
[贝叶斯一]之贝叶斯理论
一、基本概念贝叶斯理论是机器学习中一个核心方法,它由英国数学家托马斯贝叶斯在1763年发表的一篇论文中首先提出这个定理。贝叶斯定理是用来度量不确定性事件的,比如今天下雨概率,是一种概率模型。在介绍贝叶斯理论之前我们先看看统计模式识别(statistical pattern recognition)中的一些概率知识。假设有一组随机数据X=[x1,x2,x3,......xl]T∈RlX=[x...原创 2018-02-07 10:43:02 · 1136 阅读 · 0 评论