Deep Learning
文章平均质量分 81
Hearthougan
这个作者很懒,什么都没留下…
展开
-
隐马尔科夫模型HMM自学
崔晓源 翻译我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。首先,本文会介绍声称概率模式的系统,用来预测天气的变化然后,我们会分析这样一个系统,我们希望预测的状态是隐藏在表象之后的,并不是我们观察到的现象。比如,我们会根据观察到的植物海藻的表象来预转载 2017-06-20 15:27:24 · 803 阅读 · 0 评论 -
一文详解深度学习在命名实体识别(NER)中的应用
目录1、NER 简介2. 深度学习方法在NER中的应用2.2 IDCNN-CRF3. 实战应用3.1 语料准备3.2 数据增强3.3 实例4. 总结近几年来,基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功,另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别(Named Entity Recognition,NER...转载 2018-11-07 09:58:38 · 1174 阅读 · 0 评论 -
卷积神经网络的一些细节思考(卷积、池化层的作用)
卷积神经网络由卷积核来提取特征,通过池化层对显著特征进行提取,经过多次的堆叠,得到比较高级的特征,最后可以用分类器来分类。这是CNN的一个大概流程,其具体实现的结构是丰富多样的,但总的思想是统一的。CNN整个的计算过程,最重要的有两点:组合性和局部不变性(平移、旋转、尺度放缩)。组合性:每个卷积核可以看做某种特征的提取器。所谓组合性就是将卷积核提取的一些简单特征进行组合,得到更高级...原创 2018-10-20 10:47:53 · 8209 阅读 · 0 评论 -
Understanding LSTM Networks
本文是转自 colah's blog的博客,是为了自己查看方便,是讲LSTM的结构和原理非常好的文章,这个也是大多数博客讲解LSTM的参考。文末附有文章出处。Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you und...转载 2018-09-26 10:41:10 · 1005 阅读 · 0 评论 -
详细阐述基于时间的反向传播算法(Back-Propagation Through Time,BPTT)
上一节我们说了详细展示RNN的网络结构以及前向传播,在了解RNN的结构之后,如何训练RNN就是一个重要问题,训练模型就是更新模型的参数,也就是如何进行反向传播,也就意味着如何对参数进行求导。本篇内容就是详细介绍RNN的反向传播算法,即BPTT。首先让我们来用动图来表示RNN的损失是如何产生的,以及如何进行反向传播,如下图所示。上面两幅图片,已经很详细的展示了损失是如何产生的, 以及...原创 2018-09-20 00:55:59 · 9387 阅读 · 4 评论 -
RNN二进制加法实例
本文是根据前两篇详细展示RNN的网络结构以及详细阐述基于时间的反向传播算法(Back-Propagation Through Time,BPTT)来找的一个RNN实例,本例子可以帮助对RNN的前向传播以及后向传播,以及RNN结构的理解。整个过程符合下图RNN结构描述:# -*- coding: utf-8 -*-"""Created on Mon Sep 24 17:02:41 2...原创 2018-09-25 15:04:35 · 2245 阅读 · 1 评论 -
详细展示RNN的网络结构
下面简单介绍一下RNN的结构,如果简略地去看,RNN结构很简单,根本没有CNN那么复杂,但是要具体实现,还是需要仔细思考一下,希望本篇博客能把RNN结构说的明白。循环神经网络(Recurrent Neural Network,RNN)DNN以及CNN在对样本提取特征的时候,样本与样本之间是独立的,而有些情况是无法把每个输入的样本都看作是独立的,比如NLP中的此行标注问题,ASR中每个音素都和前...原创 2018-09-17 20:27:54 · 17264 阅读 · 11 评论 -
奇异值分解(SVD)小结
目录阵的简单理解矩阵作用于向量用矩阵的表达一个实体特征值和特征向量奇异值分解Hermitian矩阵共轭转置酉矩阵谈谈《数学之美》对SVD的理解阵的简单理解矩阵从我的理解来看,可以从两个角度来看。一个是矩阵是作用于向量,一个是矩阵表达一个实体。矩阵作用于向量对于线性空间中,对向量的变换就是通过矩阵对向量的作用来实现的,矩阵本身就表示着一种变换。假设...原创 2018-08-15 16:06:33 · 2477 阅读 · 1 评论 -
Batch Normalization(BN)
优点Batch Normalization(BN)有什么优点?BN的优点是多个并存,这里只提一个个人认为最容易理解的优点和其原因。训练时的问题尽管在讲解神经网络概念的时候,神经网络的输入指的是一个向量 。但在实际训练中有下面的训练方式:随机梯度下降法(Stochastic Gradient Descent):用一个样本的梯度来更新权重。批量梯度下降法(Batch Gradient Descent转载 2018-01-16 14:49:13 · 539 阅读 · 0 评论 -
Linux下安装任意版本的tensorflow命令
终端或命令行下输入: sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.1-cp27-none-linux_x86_64.whl上述只是一个样例,安装任意版本的tensorflow,只需修改相应的版本号,比如,我现在想下载tensorflow原创 2017-07-05 12:02:13 · 7000 阅读 · 0 评论 -
线性分类器-KNN、多类SVM、Softmax
本文只是记录一下实现的代码,具体的思想还请看cs231n的课程笔记,其讲解的非常好,智能单元翻译的也很不错。一、CIFAR-10数据集:图1 CIFAR-10示例二、KNN图2 KNN分类器示例 如图所示,K的取值不同得出来的分类结果也可能是不同的,因此需要对k进行寻参,找出在训练机上最好的k,来进行测试。 求两幅图片的相似性,KNN使用的是距离度量,但原创 2017-05-11 16:22:52 · 2915 阅读 · 1 评论 -
人工神经网络
一、神经网络的模型:图1 两层全连接神经网络模型 这个是一个带有两个全连接层的神经网络,神经网络,一般不把输入层算在层数之中。1、神经元:图2 神经元的数学模型 从单个神经元来看,每个神经元可以看做是一个感知机,可以用来做决策,从图中可以看出,根据输入的线性组合,经过函数f来预测,比如Sigmoid函数,当输出值大于0.5的时候可以判定为正类,当输出原创 2017-05-24 23:45:16 · 7523 阅读 · 0 评论 -
卷积神经网络反向传播理论推导
本文首先简单介绍CNN的结构,并不作详细介绍,若需要了解推荐看CS231n课程笔记翻译:卷积神经网络笔记。本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导,还是有很多细节地方需要思考的,比如1、在前向传播的过程中,卷积层的输入,是通过卷积核与前一层的输出特原创 2017-06-08 10:44:25 · 17364 阅读 · 20 评论 -
深度学习中的注意力机制(Attention Model)
注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。转载 2018-11-05 16:51:54 · 4573 阅读 · 1 评论