Abner

博观而约取,厚积而薄发,不可择焉不精,语焉不详!

排序:
默认
按更新时间
按访问量

详细阐述基于时间的反向传播算法(Back-Propagation Through Time,BPTT)

上一节我们说了详细展示RNN的网络结构以及前向传播,在了解RNN的结构之后,如何训练RNN就是一个重要问题,训练模型就是更新模型的参数,也就是如何进行反向传播,也就意味着如何对参数进行求导。本篇内容就是详细介绍RNN的反向传播算法,即BPTT。 首先让我们来用动图来表示RNN的损失是如何产生的,...

2018-09-20 00:55:59

阅读数:14

评论数:0

详细展示RNN的网络结构

下面简单介绍一下RNN的结构,如果简略地去看,RNN结构很简单,根本没有CNN那么复杂,但是要具体实现,还是需要仔细思考一下,希望本篇博客能把RNN结构说的明白。 循环神经网络(Recurrent Neural Network,RNN)DNN以及CNN在对样本提取特征的时候,样本与样本之间是独立...

2018-09-17 20:27:54

阅读数:14

评论数:0

图示Softmax及交叉熵损失函数

Softmax函数 Softmax是将神经网络得到的多个值,进行归一化处理,使得到的值在之间,让结果变得可解释。即可以将结果看作是概率,某个类别概率越大,将样本归为该类别的可能性也就越高。Softmax就如下图(借鉴李宏毅老师的课件) SoftMax 为了更加清晰的看清整个过程,我将其制作...

2018-09-14 22:21:18

阅读数:16

评论数:0

windows下pip install xx 遇到的 ConnectionResetError<10054>问题

用pip install 遇到如下的问题 C:\Users\*******&amp;gt;pip install Python 3.X Collecting Python Retrying (Retry(total=4, connect=None, read=None, redi...

2018-09-08 09:20:56

阅读数:38

评论数:0

白话EM算法

EM算法其实就是一种函数的近似求解方法,它是一种迭代算法,在很多算法中都有着重要的应用,比如HMM的学习问题,GMM,语音识别中的MM-GMM以及主题模型PLSA等等,所以掌握EM的求解方式还是很必要的。本文参考李航博士的《统计学习方法》,但前提是需要了解EM以及高斯混合分布的基本概念,我不从最基...

2018-09-04 21:31:14

阅读数:20

评论数:0

蒙特卡洛方法(Monte-Carlo Simulation)

目录   布封投针问题(Buffon's needle problem) 蒙特卡洛方法(Monte-Carlo Simulation) 估算PI 估计不规则图形的面积 随机抛点 采样估计 样本采集 拒绝采样(reject sample) 封投针问题(Buffon's needl...

2018-09-01 17:29:22

阅读数:68

评论数:0

VMware 中配置Ubuntu网络

每个人所遇的情况不同,可能设置的方法也各有不同。本文只针对自己所遇到的问题,而采取的办法。感谢沈博的指导! 首先在VMware中安装ubuntu,只需正常参照网上的安装方法即可。 安装完成后,配置网络的方法: 1、打开终端,修改profile文件。 sudo vi /etc/prof...

2018-08-23 10:28:08

阅读数:33

评论数:0

奇异值分解(SVD)小结

目录 阵的简单理解 矩阵作用于向量 用矩阵的表达一个实体 特征值和特征向量 奇异值分解 Hermitian矩阵 共轭转置 酉矩阵 谈谈《数学之美》对SVD的理解 阵的简单理解 矩阵从我的理解来看,可以从两个角度来看。一个是矩阵是作用于向量,一个是矩阵表达一个实体。 矩阵作用...

2018-08-15 16:06:33

阅读数:47

评论数:0

最大熵模型

本篇博客只是最近两天看最大熵模型的一个理解和简单总结,只为了阐述清楚最大熵模型,不涉及公式推导。为了怕很快忘记,特意综述一下,如有不正确之处欢迎指正。 最大熵原理 熵:某种意义上说,概率是度量随机事件的确定性,熵是度量随机事件的不确定性。对于随机变量的概率分布来说,随机变量的分布越均匀...

2018-08-09 16:39:32

阅读数:40

评论数:0

隐马尔科夫模型前向后向算法

本文是自己学习隐马尔科夫模型的一个总结,为了自己以后方便查阅,也算作是李航老师的《统计学习方法》的一个总结,若有疑问,欢迎讨论。推荐阅读知乎上Yang Eninala写的《如何用简单易懂的例子解释隐马尔可夫模型?》,写的非常好。我会联系两者,来作为自己的一篇学习笔记。隐马尔可夫模型: 隐马尔可夫模...

2017-09-13 12:09:56

阅读数:622

评论数:0

一文总结条件熵、交叉熵、相对熵、互信息

条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好瓜或者坏瓜。则:这个例子就是计算条件熵的一个过程,现在证明条件熵公式:有很多书上的条件熵是这么定义...

2017-09-07 22:13:40

阅读数:1611

评论数:0

彻底理解样本方差为何除以n-1

设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式:    很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,比总体方差要小,要想是无偏估计就要调小分母,所以除以n-1,那么问题来了,为什么不是除以...

2017-09-06 00:10:35

阅读数:45254

评论数:12

如何理解用信息熵来表示最短的平均编码长度

之前弄明白了信息熵是什么,由于信息熵来源于信息论,要怎么才能跟编码联系起来呢?这个问题当时没有想明白,今天查了一下资料,理解了一下,做笔记整理一下,如有错误欢迎指正。如果信息熵不明白的请看这里:http://blog.csdn.net/hearthougan/article/details/761...

2017-09-01 23:27:31

阅读数:575

评论数:1

网易疯狂队列

题目来源:题目描述:小易老师是非常严厉的,它会要求所有学生在进入教室前都排成一列,并且他要求学生按照身高不递减的顺序排列。有一次,n个学生在列队的时候,小易老师正好去卫生间了。学生们终于有机会反击了,于是学生们决定来一次疯狂的队列,他们定义一个队列的疯狂值为每对相邻排列学生身高差的绝对值总和。由于...

2017-08-17 22:18:05

阅读数:651

评论数:2

白话信息熵

距离有近有远,时间有长有短,温度有高有低,我们知道可以用米或者千米来度量距离,用时分秒可以来度量时间的长短,用摄氏度或者华氏度来度量温度的高低,那么我们常说这个信息多,那个信息少,那么信息的多少用什么度量呢?熵! 信息量是了解一个未知事物需要查询的

2017-08-04 03:19:58

阅读数:591

评论数:0

朴素贝叶斯分类器

分类器就是根据某一事物一系列特征来判断该事物的类别,。其实原理很简单,并不需要什么复杂的训练结构,复杂只是计算量,这个交给计算机即可,所以懂了原理,朴素贝叶斯分类器也就掌握了。先不写理论,以例子开始,希望能说的浅显易懂。 一、西瓜的好坏 这里是要借鉴周志华老师书中西瓜的例子,这个例子也是我所看到的...

2017-07-27 15:26:12

阅读数:632

评论数:0

浅谈全概率公式和贝叶斯公式

一、条件概率公式 条件概率由文氏图出发,比较容易理解: 表示B发生后A发生的概率,由上图可以看出B发生后,A再发生的概率就是,因此: 由: 得: 这就是条件概率公式。 假如事件A与B相互独立,那么: 注: 相互独立,两个事件表示成文氏图,也可以画成上图形式,相互独立:表示两个...

2017-07-15 16:25:56

阅读数:5570

评论数:4

Python 批量处理文件

把一个文件下有许多文件夹,并且其中每个文件中又有很多文件(如下图),现需批量把这些文件,全部取出来放到另外指定的文件夹下。

2017-07-13 12:57:39

阅读数:378

评论数:0

ubuntu 命令安装 beyond compare

安装beyond compare: wget http://www.scootersoftware.com/bcompare-4.1.9.21719_amd64.deb sudo apt-get update sudo apt-get install gdebi-core sudo g...

2017-07-06 16:17:01

阅读数:2796

评论数:0

Linux下安装任意版本的tensorflow命令

终端或命令行下输入:     sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.1-cp27-none-linux_x86_64.whl 上述只是一个样例,...

2017-07-05 12:02:13

阅读数:5151

评论数:0

提示
确定要删除当前文章?
取消 删除