深度学习
MichaelYnag
自然语言处理,机器学习,深度学习,大数据
展开
-
词向量随记1
学习NLP先从一些基本的CASE 入手吧,比如训练条件随机场,训练词向量。会用工具也是一种技能,请不要小瞧这种能力,他山之石可以攻玉。言归正传 今天从词向量开始。 资源https://code.google.com/archive/p/word2vec/ https://code.google.com/p/word2vec/ https://github.com/svn2github/wor原创 2017-09-06 17:35:10 · 706 阅读 · 0 评论 -
深度学习面经
CNN最成功的应用是在CV,那为什么NLP和Speech的很多问题也可以用CNN解出来?为什么AlphaGo里也用了CNN?这几个不相关的问题的相似性在哪里?CNN通过什么手段抓住了这个共性? Deep Learning -Yann LeCun, Yoshua Bengio & Geoffrey Hinton Learn TensorFlow and deep learning, without转载 2017-09-19 13:33:43 · 1160 阅读 · 0 评论 -
BiLSTM+CRF 在 NER方面的应用
RNN简介 RNNs的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。 RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并原创 2017-09-11 15:17:04 · 1220 阅读 · 0 评论 -
seq2seq以及Attention机制
RNN 由一系列相同的网络构成(图 1 中的长方形表示一个网络),上一个词语的向量表示作为计算下一个网络的输入,如此循环。整个句子每个词军计算完成, 便得到了一个句子的语意向量。 所谓encoder-decoder模型,又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢?简单的说,就是根据一个输入序列x,来生成另一个输出序列y。seq2seq有很多的应转载 2017-09-12 11:33:02 · 1374 阅读 · 0 评论 -
ReLu(Rectified Linear Units)激活函数
传统 Sigmoid 系激活函数 传统神经网络中最常用的两个激活函数,Sigmoid 系(Logistic-Sigmoid、Tanh-Sigmoid)被视为神经网络的核心所在。 从数学上来看,非线性的 Sigmoid 函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上,有很好的效果。 从神经科学上来看,中央区酷似神经元的兴奋态,两侧区酷似神经元的抑制态,因而在神经网络学习原创 2017-09-30 17:31:04 · 507 阅读 · 0 评论 -
花书阅读随记1
花书第一部分是一些基本概念,但是我觉得这些概念都是比较重要的一些概念。 下面对一些概念进行笔记: 第一部分 线性代数 特征值与特征向量 特征向量的代数含义是:将矩阵乘法转换为数乘操作; 特征向量的几何含义是:特征向量通过方阵A变换只进行伸缩,而保持特征向量的方向不变。特征值表示的是这个特征到底有多重要,类似原创 2017-09-21 17:19:58 · 347 阅读 · 0 评论 -
算法学习笔记梳理 一
一、生成模型与判别模型监督学习的目的就是学习一个模型:监督学习1 联合概率分布 假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y) P(X,Y)为分布函数或分布密度函数 对于学习系统来说,联合概率分布是未知的, 训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。(X,Y)相互独立并且分布相同2. 假设空间...原创 2019-02-28 13:55:28 · 305 阅读 · 0 评论