![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实习
文章平均质量分 90
盲人骑瞎马5555
努力搬砖~
间歇性发奋图强~
展开
-
TensorFlow之Variable Scope
TensorFlow中的变量一般就是模型的参数。当模型复杂的时候共享变量会无比复杂。官网给了一个case,当创建两层卷积的过滤器时,每输入一次图片就会创建一次过滤器对应的变量,但是我们希望所有图片都共享同一过滤器变量,一共有4个变量:conv1_weights, conv1_biases, conv2_weights, and conv2_biases。通常的做法是将这些变量设置为全局变量...原创 2018-11-21 15:45:17 · 124 阅读 · 0 评论 -
《机器翻译》阅读笔记-----第二章 机器翻译语料
数据也称为语料,不同类型、用途的数据放在一起完成一项任务,称为语料库(corpus). 语料分为单语语料和双语语料。 单语语料又分为源语言单语语料和目标语言单语语料。 目标语言语料的用途是训练语言模型。 目标语言语料在神经机器翻译系统中也可以用于构造伪双语数据。 未在平行语料中出现的词条称为未登录词,他们的翻译知识是无法从这些平行语料中学习到的。 词条级别的平行语料一般是指双语词典,其...原创 2019-03-18 16:21:21 · 2023 阅读 · 0 评论 -
《机器翻译》阅读笔记-----第一章 绪论
机器翻译的研究和任务处理过程不仅涉及自然语言处理的诸多经典任务,包括数据挖掘、数据清洗、分词、词性标注、句法分析、语义分析等,而且还涉及解码算法、优化算法、建模及训练过程中各种机器学习算法的应用等。 有三项重要的工作极大的推动了统计机器翻译的发展:对数-线性模型、参数最小错误训练方法、BLEU评测指标(2002)。 自动评测指标BLEU的提出不仅避免了人工评价成本昂贵的弊端,而且可以直接成为模...原创 2019-03-18 09:58:51 · 545 阅读 · 0 评论 -
Moses是什么
Moses相关介绍Moses是Pharaoh的升级版本,增加了许多功能。它是由英国爱丁堡大学、德国亚琛工业大学等8家单位联合开发的一个基于短语的统计机器翻译系统。开发时间6个星期,整个系统用C++写成。 插入一个问题,Pharaoh是什么?统计翻译系统中的开源工具们 首个基于短语的统计机器翻译系统“法老”(Pharaoh)。 “法老”是较早公开的统计机器翻译系统,由...原创 2019-03-15 11:40:06 · 830 阅读 · 0 评论 -
初入NLP领域的几点建议
AI科技评论:观点 | 香侬科技李纪为对初入NLP领域者的一些小建议初入NLP领域的几点建议:1.了解NLP的最基本的知识推荐:Jurafsky和Martin的Speech and Language Processing推荐理由:阅读此书会接触到很多NLP的最基本任务和知识,比如tagging, 各种parsing,coreference, semantic role labeling...原创 2019-03-14 17:41:41 · 175 阅读 · 0 评论 -
修改Anaconda中的Jupyter Notebook默认工作路径
在网上找了经典的三大方法,都木有效,使用的Windows10最终的解决方法我是用的使用修改快捷方式的方法改变路径 实现的方法就是修改快捷方式标签的目标栏,如下图: 后面有一个%USERPROFILE%将%USERPROFILE%改成你要的路径就可以了然后应用->确定...原创 2019-01-25 15:20:46 · 161 阅读 · 0 评论 -
Tensor2Tensor(三)
下面列出了要深度掌握Tensor2Tensor系统时,可能因为其实现特点,会遇到的一些问题: 1. 系统支持多任务,任务混杂,导致代码结构比较复杂。在实现的时候,要考虑到整体的结构,所以会存在各种封装、继承、多态的实现。可能你只想用其中的一个功能,理解该功能对应的代码,但是却需要排除掉大量的不相关的代码。 2. 系统基于Tensorflow封装较高的API。使用了Tensorflow中...转载 2019-01-08 16:37:39 · 481 阅读 · 0 评论 -
Tensor2Tensor(四)
更换tensor2tensor版本(v1.11.0)遇到的问题:1.No module named 'tensorflow_probability' ------------------------------------分析----------------------------------------------------------- /tensor2tensor/lay...原创 2019-01-12 16:25:57 · 2327 阅读 · 0 评论 -
Tensor2Tensor(二)
Transformer表现的如此好的原因,其实不仅仅是一个self-attention机制导致的,实际上transformer模型中使用了非常多有效的策略来使得模型对数据的拟合能力更强,收敛速度更快。整个Transformer的模型是一套解决方案,而不仅仅是对序列建模机制的改进。 Transformer里面的self-attention机制是一种新的变种,主要体现在(1)加了缩放因子(scali...原创 2019-01-02 17:28:57 · 515 阅读 · 0 评论 -
Tensor2Tensor(一)
Google Tensor2Tensor(T2T)系统时一套十分强大的深度学习系统,在多个任务上的表现都非常抢眼。尤其在机器翻译问题上,单模型的表现就可以超过之前方法的继承模型。这一套系统的模型结构、训练和优化技巧等,可以被利用到公司的产品线上,直接转化为生产力。 Tensor2Tensor是一套基于TensorFlow的深度学习系统。该系统最初是希望完全使用Attention方法来建模序列到序...原创 2019-01-02 17:01:40 · 2047 阅读 · 0 评论 -
VMware虚拟机ubuntu显示屏幕太小解决办法
亲测好用。https://blog.csdn.net/dcrmg/article/details/74090307转载 2018-11-26 09:57:06 · 3156 阅读 · 0 评论 -
TensorFlow学习笔记之Optimizers
ADAM: a method for stochastic optimization Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。 Adam的优点主要在于经过偏置矫正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。其中,,分别是对梯度的一阶矩估计和二阶矩估计,可以看作...原创 2018-11-20 13:58:03 · 179 阅读 · 0 评论 -
CS224n----词向量表示word2vec
这一讲,从语言的底层开始研究,学习和理解经典的词向量模型----word2vec。词向量是深度学习在自然语言处理领域的基础,几乎所有的深度学习应用都源自于它,所以词向量模型的基础很重要。传统的自然语言处理中,通常构建类似WordNet的检索词典。但是这种词典存在一些问题:缺少单词的细节描述;新词不能被发现;人类主观判断;依赖人类的创造和适配;单词间相似性计算困难等, 最简单的词向量模型为on...原创 2018-11-23 17:50:44 · 169 阅读 · 0 评论 -
神经机器翻译(Neural machine translation, NMT)学习笔记
神经机器翻译(Neural machine translation, NMT)是最近提出的机器翻译方法。与传统的统计机器翻译不同,NMT的目标是建立一个单一的神经网络,可以共同调整以最大化翻译性能。最近提出的用于神经机器翻译的模型经常属于编码器-解码器这种结构,他们将源句子编码成固定长度的矢量,解码器从该矢量生成翻译。在本文中,我们推测使用固定长度向量是提高这种基本编码器-解码器架构性能的瓶颈,提...原创 2018-11-22 16:35:06 · 12413 阅读 · 0 评论 -
深度学习最全优化方法总结学习
参考链接:https://zhuanlan.zhihu.com/p/22252270经验之谈:对于稀疏数据,尽量使用学习率可自适应的优化方法,不用手动调节,而且最好采用默认值。 SGD通常训练时间更长,但是在好的初始化和学习率调度方案的情况下,结果更可靠。 如果在意更快的收敛,并且需要训练较深较复杂的网络时,推荐使用学习率自适应的优化方法。 Adadelta,RMSprop, Ada...原创 2018-11-22 09:53:11 · 245 阅读 · 0 评论 -
Transformer笔记
强烈推荐:https://jalammar.github.io/illustrated-transformer/特点: 简单明了,清晰易懂。对Transformer里的self-attention(multi-head), positional encoding这些concepts有一个基本的认识。缺点:具体细节仍需要进一步阅读其他资料。Transformer由encoding compo...原创 2018-11-23 17:28:25 · 343 阅读 · 0 评论