深度学习进阶:自然
文章平均质量分 87
xiao52x
这个作者很懒,什么都没留下…
展开
-
深度学习进阶:自然语言处理入门:第5章 RNN(2)
第5章 RNN(2)第5章 RNN5.2 RNN5.2.1 循环的神经网络5.2.2 展开循环5.2.3 Backpropagation Through Time5.2.4 Truncated BPTT5.2.5 Truncated BPTT的mini-batch学习5.3 RNN的实现5.3.1 RNN层的实现RNN 类第5章 RNN5.2 RNN5.2.1 循环的神经网络RNN 的特征就在于拥有这样一个环路(或回路)。这个环路可以使数据不断循环。通过数据的循环,RNN一边记住过去的原创 2021-12-14 21:31:31 · 1406 阅读 · 0 评论 -
深度学习进阶:自然语言处理入门:第5章 RNN(1)前言
第5章 RNN(1)前言第5章 RNN5.1 概率和语言模型5.1.1 概率视角下的word2vec5.1.2 语言模型5.1.3 将CBOW模型用作语言模型?第5章 RNN 到 目 前 为 止, 我 们 看 到 的 神 经 网 络 都 是前 馈 型 神 经 网 络。 前 馈 (feedforward)是指网络的传播方向是单向的。具体地说,先将输入信号传 给下一层(隐藏层),接收到信号的层也同样传给下一层,然后再传给下一 层……像这样,信号仅在一个方向上传播。虽然前馈网络结构简单、易于理原创 2021-12-13 20:53:33 · 875 阅读 · 2 评论 -
word2vec的高速化:CBOW模型
word2vec的高速化word2vec的高速化1.CBOW模型的学习代码2. create_contexts_target3.CBOW模型的实现2.1使用Embedding层(输入层到隐藏层)2.2 实现负采样,NegativeSamplingLoss负采样的采样方法:UnigramSamplerSigmoid求损失函数:SigmoidWithLossEmbeddingDot(隐藏层到输出层)word2vec的高速化1.CBOW模型的学习代码import syssys.path.append('.原创 2021-12-13 18:28:48 · 1241 阅读 · 0 评论 -
深度学习进阶:自然语言处理入门:第4章 word2vec的高速化
第4章 word2vec的高速化第4章 word2vec的高速化4.1 word2vec的改进①4.1.1 Embedding层4.1.2 Embedding层的实现函数4.2 word2vec的改进②4.2.1 中间层之后的计算问题4.2.2 从多分类到二分类4.2.3 sigmoid函数和交叉熵误差4.2.4 多分类到二分类的实现函数4.2.5 负采样4.2.6 负采样的采样方法函数简单实现4.2.7 负采样的实现4.3 改进版 word2vec的学习4.3.1 CBOW模型的实现改原创 2021-12-10 21:05:50 · 1472 阅读 · 0 评论 -
深度学习进阶:自然语言处理入门:第3章 word2vec
深度学习进阶:自然语言处理入门第3章 word2vec3.1 基于推理的方法和神经网络3.1.1 基于计数的方法的问题3.1.2 基于推理的方法的概要3.1.3 神经网络中单词的处理方法3.2 简单的 word2vec3.2.1 CBOW模型的推理实现 CBOW 模型的推理,具 体实现如下所示3.2.2 CBOW模型的学习3.2.3 word2vec的权重和分布式表示3.3 学习数据的准备3.3.1 上下文和目标词生成上下文和目标词的函数 create_contexts_target(corp原创 2021-12-09 21:22:08 · 1477 阅读 · 1 评论 -
深度学习进阶:自然语言处理入门:第2章 自然语言和单词的分布式表示
深度学习进阶:自然语言处理入门第2章 自然语言和单词的分布式表示2.1 什么是自然语言处理单词含义2.2 同义词词典2.2.1 WordNet2.2.2 同义词词典的问题2.3 基于计数的方法(*)2.3.1 基于 Python的语料库的预处理语料库的准备工作 ,处理实现为 preprocess() 函数2.3.2 单词的分布式表示2.3.3 分布式假设2.3.4 共现矩阵共现矩阵的函数: create_co_matrix(corpus, vocab_size, window_size=1)2原创 2021-12-08 17:00:23 · 2144 阅读 · 0 评论 -
深度学习进阶:自然语言处理入门:第1章 神经网络的复习
深度学习进阶:自然语言处理入门第1章 神经网络的复习1.1 数学和Python的复习1.1.1 向量和矩阵1.1.2 矩阵的对应元素的运算1.1.3 广播1.1.4 向量内积和矩阵乘积1.1.5 矩阵的形状检查1.2 神经网络的推理1.2.1 神经网络的推理的全貌图激活函数输出层和激活函数 代码1.2.2 层的类化及正向传播的实现两层神经网络 (简单的只有正向传播,没有反向传播)1.3 神经网络的学习1.3.1 损失函数SoftmaxWithLoss类( )1.3.2 导数和梯度1.3.3原创 2021-12-07 21:49:16 · 2720 阅读 · 1 评论