隐马尔科夫模型前向后向算法

本文是自己学习隐马尔科夫模型的一个总结,为了自己以后方便查阅,也算作是李航老师的《统计学习方法》的一个总结,若有疑问,欢迎讨论。推荐阅读知乎上Yang Eninala写的《如何用简单易懂的例子解释隐马尔可夫模型?》,写的非常好。我会联系两者,来作为自己的一篇学习笔记。隐马尔可夫模型: 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个...
阅读(22) 评论(0)

一文总结条件熵、交叉熵、相对熵、互信息

条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好瓜或者坏瓜。则:这个例子就是计算条件熵的一个过程,现在证明条件熵公式:有很多书上的条件熵是这么定义的,如果继续化简就可以得到我们上面定义的条件熵,接着化简:得证!信息增益:,表示X出现后随机变量Y的不...
阅读(48) 评论(0)

彻底理解样本方差为何除以n-1

设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式:    很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,比总体方差要小,要想是无偏估计就要调小分母,所以除以n-1,那么问题来了,为什么不是除以n-2、n-3等等。所以在这里彻底总结一下,首先交代一下无偏估计。无偏估计    以例子来说明,假如你...
阅读(45) 评论(0)

如何理解用信息熵来表示最短的平均编码长度

之前弄明白了信息熵是什么,由于信息熵来源于信息论,要怎么才能跟编码联系起来呢?这个问题当时没有想明白,今天查了一下资料,理解了一下,做笔记整理一下,如有错误欢迎指正。如果信息熵不明白的请看这里:http://blog.csdn.net/hearthougan/article/details/76192381首先给出结果:最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。其中信源的不确定...
阅读(46) 评论(0)

网易疯狂队列

题目来源:题目描述:小易老师是非常严厉的,它会要求所有学生在进入教室前都排成一列,并且他要求学生按照身高不递减的顺序排列。有一次,n个学生在列队的时候,小易老师正好去卫生间了。学生们终于有机会反击了,于是学生们决定来一次疯狂的队列,他们定义一个队列的疯狂值为每对相邻排列学生身高差的绝对值总和。由于按照身高顺序排列的队列的疯狂值是最小的,他们当然决定按照疯狂值最大的顺序来进行列队。现在给出n个学生的...
阅读(137) 评论(0)

白话信息熵

距离有近有远,时间有长有短,温度有高有低,我们知道可以用米或者千米来度量距离,用时分秒可以来度量时间的长短,用摄氏度或者华氏度来度量温度的高低,那么我们常说这个信息多,那个信息少,那么信息的多少用什么度量呢?熵! 信息量是了解一个未知事物需要查询的...
阅读(127) 评论(0)

朴素贝叶斯分类器

分类器就是根据某一事物一系列特征来判断该事物的类别,。其实原理很简单,并不需要什么复杂的训练结构,复杂只是计算量,这个交给计算机即可,所以懂了原理,朴素贝叶斯分类器也就掌握了。先不写理论,以例子开始,希望能说的浅显易懂。 一、西瓜的好坏 这里是要借鉴周志华老师书中西瓜的例子,这个例子也是我所看到的,讲解贝叶斯分类问题最好的例子。现简化如下: 现已知7个西瓜的好坏,西瓜的特征有三种:色泽{青绿...
阅读(193) 评论(0)

浅谈全概率公式和贝叶斯公式

一、条件概率公式 条件概率由文氏图出发,比较容易理解: 表示B发生后A发生的概率,由上图可以看出B发生后,A再发生的概率就是,因此: 由: 得: 这就是条件概率公式。 假如事件A与B相互独立,那么: 注: 相互独立,两个事件表示成文氏图,也可以画成上图形式,相互独立:表示两个事件发生互不影响,因此可以同时发生(这就可能出现相交)。而互斥:...
阅读(180) 评论(1)

Python 批量处理文件

把一个文件下有许多文件夹,并且其中每个文件中又有很多文件(如下图),现需批量把这些文件,全部取出来放到另外指定的文件夹下。...
阅读(130) 评论(0)

ubuntu 命令安装 beyond compare

安装beyond compare: wget http://www.scootersoftware.com/bcompare-4.1.9.21719_amd64.deb sudo apt-get update sudo apt-get install gdebi-core sudo gdebi bcompare-4.1.9.21719_amd64.deb 卸载 beyond comp...
阅读(158) 评论(0)

Linux下安装任意版本的tensorflow命令

终端或命令行下输入:     sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.1-cp27-none-linux_x86_64.whl 上述只是一个样例,安装任意版本的tensorflow,只需修改相应的版本号,比如,我现在想下载tensorflow...
阅读(682) 评论(0)

隐马尔科夫模型HMM自学

崔晓源 翻译 我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。 首先,本文会介绍声称概率模式的系统,用来预测天气的变化 然后,我们会分析这样一个系统,我们希望预测的状态是隐藏在表象之后的,并不是我们观察到的现象。比如,我们会根据观察到的植物海藻的表象来预...
阅读(196) 评论(0)

卷积神经网络反向传播理论推导

本文首先简单介绍CNN的结构,并不作详细介绍,若需要了解推荐看CS231n课程笔记翻译:卷积神经网络笔记。本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导,还是有很多细节地方需要思考的,比如1、在前向传播的过程中,卷积层的输入,是通过卷积核与前一层的输出特...
阅读(289) 评论(1)

人工神经网络

一、神经网络的模型: 图1 两层全连接神经网络模型     这个是一个带有两个全连接层的神经网络,神经网络,一般不把输入层算在层数之中。 1、神经元: 图2 神经元的数学模型     从单个神经元来看,每个神经元可以看做是一个感知机,可以用来做决策,从图中可以看出,根据输入的线性组合,经过函数f来预测,比如Sigmoid函数,当输出值大于0.5的时候可以判定为正类,当输出...
阅读(943) 评论(0)

numpy.transpose()

numpy.transpose()是对矩阵按照所需的要求的转置,比较难理解,现以例子来说明: import numpy as np a = np.array(range(30)).reshape(2, 3, 5) print ("a = ") print (a) print "\n=====================\n" print ("a.transpose() = ") pr...
阅读(313) 评论(0)
490条 共33页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:254008次
    • 积分:7028
    • 等级:
    • 排名:第3349名
    • 原创:471篇
    • 转载:19篇
    • 译文:0篇
    • 评论:16条