Liu_zy的博客

Bidirectional RNN(双向RNN):从左向右和从右向左读一条评论都可以得出其情感.训练n=2n=2n=2条RNN, 一条从左向右, 一条从右向左. 两个RNN的参数矩阵完全独立. 这一对RNN各自计算状态向量hih_ihi​, hi′h_i'hi′​, 将其拼接成yiy_iyi​.如果将多对Bidirectional RNN组成Stacked RNN, 将yty_tyt​作为上层的输入即可. 如果只有一对Bidirectional RNN, 则只保留两条链各自最后的状态向量[ht,ht

Stacked RNN与多层Dense, 多层CNN思想一样, 可以将多个RNN叠加. 最底层RNN的输入是词向量, 其输出作为第二层RNN(有自己的参数矩阵)的输入, …, 最后的输出hth_tht​包含了前面所有状态的信息.from keras.models import Sequential # Sequential 为将神经网络的层按顺序搭起来from keras.layers import LSTM, Dense, Embedding, Flattenvocabulary = 10000

三、RNN模型 与 NLP应用 —— LSTM前言LSTM概览LSTM结构LSTM参数量LSTM(Long short-term memory)是对Simple RNN的改进, 其可以避免梯度消失的问题, 可以有更长的记忆遗忘门ftf_tft​(Forget Gate): - 选择性遗忘传输带向量ccc遗忘门向量f

二、RNN模型 与 NLP应用 —— Simple RNN前言Simple RNNLSTM前言FCN和ConvNet的限制: one-to-one模型, 一个输入对一个输出一次性输入的是整个样本数据固定输入和输出RNN为 many-to-one 或者 many-to-many 输入和输出的长度不固定. RNN适合小规模问题可以, 大规模问题需要用Transformer.Simple RNN图1. Simple RNN结构. 初始节点的h输入是全0.RNN每次看一个词, 用状态hth_t

一、RNN模型 与 NLP应用 —— 数据预处理前言数据处理简介:文本处理的步骤(1.-6.):使用逻辑回归(LR)训练情感分类: - 效果不好Simple RNN前言本文为 王树森教授的《RNN模型与NLP应用》授课学习笔记数据处理简介:主要为文本数据的处理过程. 文本数据包含数值化描述(Numeric Features), 和类别化描述(Categorical Features).数值化描述如年龄, 数值之间是有大小关系的, 比如50岁比30岁大.类别化描述如性别、国籍, 需要转化为数值化描

贝叶斯分类器——用极大似然估计训练类条件概率P(X∣Y=ck):在贝叶斯分类器P(Y=ck│X)=P(Y=ck)P(X∣Y=ck)/P(X) 中, P(Y=ck)/P(X)容易得到, 但是P(X∣Y=ck)仅通过随机抽样得到X是不准确的. 所以需要贝叶斯分类器.

(二)朴素贝叶斯分类器由(一)朴素贝叶斯与贝叶斯分类器基础知识进行拓展. 设输入空间是n维的类别向量X={x_1,…,x_n}​, 输出空间的类别有K类: Y=c1,…,cK​. X是输入空间X上的随机变量, Y是输出空间Y上的随机变量. 训练数据集D为(x1,y1),…,(xN,yN)​), y为标签.

贝叶斯分类算法是统计学的一种概率分类方法, 朴素贝叶斯分类是贝叶斯分类中最简单的一种. 其分类原理就是利用贝叶斯公式根据某特征的先验概率计算出其后验概率, 然后选择具有最大后验概率的类作为该特征所属的类. 之所以称之为“朴素”, 是因为贝叶斯分类只做最原始、最简单的假设: 所有的特征之间是统计独立的

强化学习面试经典问题: 策略迭代与价值迭代的关系在强化学习问题中, 如果知道环境的模型(动力学模型Model-based, 例如所有的状态转移概率矩P(s′∣s)和关于动作或状态的奖励等), 则可利用这些信息构建一个 MDP 模型来对环境进行描述. 一旦有了环境的动力学模型, 就可以使用动态规划(DP)的方法来对最优价值函数和策略进行求解. 一旦获得了最优价值函数, 最优策略就是选择能够最大化下一状态价值的动作.