DeepLearning
文章平均质量分 62
coder_Gray
这个作者很懒,什么都没留下…
展开
-
NameError: name 'mnist' is not defined
在Tensorflow上进行mnist数字识别实例时,出现如下错误NameError: name 'mnist' is not defined当然mnist数据集不能直接使用,需要通过input_data模块进行初始化,所以要首先引入input_data模块,网上很多解决办法都是重新下载input_data模块,不过lz认为有些麻烦,毕竟这是TF自带模块,所以只需运行下面的这段代码:from ten原创 2017-11-17 15:56:34 · 11253 阅读 · 0 评论 -
主成分分析(PCA)和独立成分分析(ICA)
最近在学习DL花书时,看到了线性因子模型部分,对其中的PCA和ICA的理解有些模糊,于是到网上求助并翻了些文献资料,总结如下(这里不讨论其推导过程和理论证明):首先分析一下PCA和ICA之间的共性:无论是PCA还是ICA,都不需要对源信号的分布进行具体的假设Both PCA and ICA try to find a set of vectors, a basis, for the data.转载 2017-12-10 22:10:48 · 5388 阅读 · 0 评论 -
深度学习——神经网络的数据预处理
数据预处理在构建网络模型时是很重要的,往往能够决定训练结果。当然对于不同的数据集,预处理的方法都会有或多或少的特殊性和局限性。在这里介绍三种当前最为普遍被广泛使用的预处理方法。需要导入numpy库,即:(下同)import numpy as np假设数据矩阵X是一个N*D维的矩阵,其中N代表样本数目,D代表数据的维度。1.零均值这是数据处理阶段最为常用的方法。顾名思义,就是将每一维原始数据减去每一...转载 2018-03-24 15:29:28 · 26116 阅读 · 0 评论 -
深度学习——对于反向传播的理解(举例验证)
BackPropagation是BP神经网络的基础算法,不过相信有很多人对于各种资料上教程书籍上看到的反向传播的推导看的云里雾里,刚开始看花书的时候也是这样,不过之后又带着迷惑查找看了许多讲解,勉强能够看懂了,其中用具体数值代替链式法则公式推导的方法很容易理解,在这里我和大家分享一下。讲到神经网络,tensor传播图是最为清晰的了,如下所示:第一层是输入层,包括两个神经元i1,i2,和截距项b1,...原创 2018-04-03 22:40:29 · 1914 阅读 · 1 评论 -
NLP—————word_embedding
Embedding这个词接触过深度学习的同学都不陌生,它在keras官方文档中的解释为:嵌入层将正整数(下标)转换为具有固定大小的向量。(这个解释太模糊了啊!!!)实际上,embedding这个词来源于wordEmbedding。使用嵌入层主要有三大原因:使用onehot编码会使向量的维度很高,而且十分稀疏,假如字典包含了2000个词,那么每一个词的onehot向量表示将有2000个整数组...原创 2018-11-14 22:01:55 · 445 阅读 · 0 评论 -
深度强化学习(DRL)
DRL形成背景深度强化学习(Deep Reinforcement Learning)顾名思义,是深度学习与强化学习的结合,因此深度强化学习弥补了DL和RL的不足之处。深度学习最近火热,大家也都有所了解,就是通过多层网络和非线性变换,去学习数据的分布式特征表示,因此深度学习侧重于对事物的感知和表达。 而强化学习,了解的同学都知道,通过奖惩机制去挖掘最优策略,因此它侧重于学习解决问题的策略。...原创 2018-11-29 17:58:50 · 13435 阅读 · 0 评论 -
NLP————VocabularyProcessor进行词表创建和原数据填充
在进行NLP相关编码时,将文本进行序列化编码是一个必要的环节(word->id),之前自己一直是自己手写代码构造词表并给句子进行填充,后来网上看到一个神仙函数两句语句就能完成构造词表vocab和句子填充,就是我们今天的主角VocabularyProcessor函数。函数参数如下:from tensorflow.contrib import learnvocal = learn.pr...原创 2019-01-14 16:03:59 · 2788 阅读 · 0 评论 -
NLP————在神经网络中CRF的使用
最近在做bi_lstm_crf时使用了CRF的一些库函数,是tensorflow官方库提供的。在我的项目中有两处用到了CRF:1.在双向LSTM进行输出之后计算loss时,要使用到 crf_log_likelihood 函数。这个函数是 tensorflow.contrib.crf 提供的。下面举个例子说明函数的参数和函数输出。crf_log_likelihood(inputs,ta...原创 2019-01-16 17:17:08 · 1923 阅读 · 0 评论 -
NLP————目标情感分析(TSA任务)
TSA任务介绍目标情感分析任务(Targeted Sentiment Analysis, TSA)旨在提取目标实体并对其进行情感分类。因此可以理解为命名实体识别(NER)和情感分析(SA)两个任务的联合学习。例如,给出一句“ESPN调查显示迈克尔乔丹是最伟大的篮球运动员”,检测目标是ESPN和迈克尔乔丹,他们的情绪类别分别为中性和正面。最近的一些工作试图联合学习这两项任务,看成序列标注问题,其...原创 2019-05-15 21:04:42 · 3572 阅读 · 1 评论