- 博客(7)
- 收藏
- 关注
RSS订阅原创 动态规划
动态规划动态规划组成部分一：确定状态简单的说，解动态规划的时候需要开一个数组，数组的每个元素f[i]或者f[i][j]代表什么确定状态需要两个意识：最后一步：即最优策略的最后一个决策子问题动态规划组成部分二： 转移方程设状态f动态规划组成部分三： 初始条件和边界情况初始条件是用转移方程算不出来，需要手工定义边界情况就是不让值越界动态规划组成部分四： 计算顺序一般按从小到大算实例硬币最后一步子问题递归解法转移方程初始条件和边界情况
2021-03-10 08:53:04
422
原创 RNN语言模型实现：Recurrent neural network language model
文章目录语言模型RNN语言模型的结构优化WSJ 实验参考文献：《Recurrent neural network based language model》语言模型什么是语言模型？语言模型包括传统与神经网络语言模型神经网络语言模型的功能就是根据句子前w-1个词预测第w个词在词表中的概率分布。RNN语言模型的结构在论文中采用了最简单的RNN架构也就是被称为Elman network的架构。其中有一个输入层x,隐藏层s（也被叫做context层或state）和一个输出层y。在 t 时刻网络的输入
2020-12-21 22:21:13
377
原创 NMT优化--Ensemble Decoding
理论部分来自于nmt-book 6.1一种在机器学习中常见的技术是不止为你的问题建立一个系统，而是多个并且将他们合并，这种技术叫ensemble of systems。对神经网络来说，一种策略是使用不同的初始值或者在训练进程中停在不同的点。为什么这会有作用呢，一种直觉是每个系统都会犯不同的错。当两个系统同意一种观点时，他们很可能都是正确的，而不是都错的。就像人们在选举时一起开会投票。将集成方法应用到神经机器翻译中，我们必须解决两个子问题：产生备用子模型合并他们的输出生成候选模型当我们
2020-12-10 13:25:30
464
原创 搞清楚TF中的Embedding
参考资料：详解TF中的Embedding操作官网Embedding教程文章目录1.为什么引入Embedding2. Embedding的工作原理2.1 由TF1进行Embedding过程解析后续补充...总结1.为什么引入Embedding在对词汇表中单词进行编码时若使用one-hot编码，存在以下问题：编码效率低下，假设我们的词汇表中有 10,000 个单词。为了对每个单词进行独热编码，我们将创建一个其中 99.99% 的元素都为零的向量。若使用唯一的数字编码每个单词，则存在以下问题：
2020-10-11 16:08:42
1041
1
原创 论文阅读：Scheduled Sampling for Transformers
@[TOC]Scheduled Sampling for TransformersAbstractScheduled sampling本是用来解决序列到序列中的exposure bias问题，即RNN模型在训练时使用的是真实值（teacher forcing），而在测试时使用的是预测值，这两者的不一致则会导致误差。这种技术通过喂给模型混合了真实值和预测值的数据来训练模型，此做法在RNN网络中取得了成效。然而Transformer模型与RNN不同，transformer的每个新词通过前面的所有词来预测，而
2020-10-10 12:20:27
979
原创 机器翻译中分词方法--BPE（Byte Pair Encoding）
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例前言Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
2020-09-27 12:33:38
3336
原创 机器翻译评测----BLEU算法
BLEU算法前言N-gram召回率短句惩罚因子BLEU实例前言BLEU(bilingual evaluation understudy)算法是由IBM提出的用来自动评测机器翻译质量的算法。N-gramN-gram的N指连续的N个word用来匹配，即比较译文和参考译文之间N组词的相似占比。例如： 原文：今天天气不错 机器译文：It is a nice day today 人工译文：Today is a nice day如果用1-gram匹配的话：每1个word用来匹配，最终5个wo
2020-09-10 10:56:39
1370
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人