- 博客(8)
- 收藏
- 关注
原创 2021-05-04学习笔记
今天认识到了在看论文的同时,写代码的重要性主要看了LSTM的参数结构首先是一个类似于MLP形式的LSTM示意图,但注意的是,LSTM很重要的隐藏层之间的横向传播没有展示出来,那么我们知道LSTM输入的时候要求输入数据的格式(sequence_lenth,batch_size,word_embeding)这个具体的过程,可以用下一张图很好的概括注意,下标为时间序列,带括号的上标为sequence长度,每一个符号表示的都是一个fixed size的向量所以,回想我去年自己写的的代
2021-05-05 00:36:10
82
原创 2021-05-02学习笔记
主要做了雅思阅读,下载了批量的论文,供下一个阶段看,搞了许多网盘资源,看了百面机器学习(1/7)百面机器学习学到的新东西:Word2Vec与LDA的区别和联系:主题模型和词嵌入两类方法最大的不同其实在于模型本身,主题模型是一种基于概率图模型的生成式模型,其似然函数可以写成若干条件概率连乘的形式,其中包括需要推测的隐含变量(即主题);而词嵌入模型一般表达为神经网络的形式,似然函数定义在网络的输出之上,需要通过学习网络的权重以得到单词的稠密向量表示回归模型中,95%数据预测的都很好,但RMSE居高
2021-05-03 01:14:15
171
原创 2021-05-01学习笔记
上午看电影去了,《悬崖之上》真不错!今天摸得鱼多Minimun Error Rate Training in Statistical Machine Translation核心思路是,SMT中,之前的做法是用极大似然估计,对概率模型建模,再用评价指标BLEU等来评价模型的翻译质量但为什么不可以,直接把评价翻译质量的指标带入训练过程,对着指标来优化核心问题:评价指标往往是不连续的,比如翻译错误数,是离散的,不太好用梯度,而且很容易陷入局部最优。于是本文设计了算法,将数据平滑,而且能带.
2021-05-02 01:35:38
97
原创 2021-04-30学习笔记
Sequence to Sequence Learning with Neural Networks主要内容基于LSTM的seq2seq2机器翻译模型内容要点之前的DNN,要求输入输出的维度都是固定的,这显然不适用于seq2seq(上学期我们写情绪分类模型也遇到了)提出LSTM的机器翻译模型,结构很简单,如下图:优点:可以应付单词次序敏感的句子 可以很好的区分主被动语态新发现:如果把输入端的语句输入的顺序直接倒过来,效果会提升不少(猜测是:在反转之前,可能输入端的单词与输
2021-04-30 23:31:39
107
1
原创 2021-04-29学习笔记
今天出去玩了IBM Model1找到一篇好文(4条消息) NLP从入门到放弃_IBM Model1_cpyy103的博客-CSDN博客,附带了例子和程序,明天实现一下程序,深入理解一下如果人工智能迎来下一个寒冬,你认为会是卡在什么问题上一个有趣的思路:(29 封私信 / 82 条消息) 如果人工智能迎来下一个寒冬,你认为会是卡在什么问题上? - 知乎 (zhihu.com)提到的观点中我能理解到的:图像分类过程,cv一直走不出单模态,但是我们人类区别一个物体,甚至是小时候认识一个苹果
2021-04-30 00:14:34
148
原创 2021-04-28学习笔记
《Attention is all you need(1)》(读了一部分,没全读)基本内容讲transformer架构,提出self-attention,结果很棒,细节很多内容要点(主要结合部分csdn博客,知乎文章来配合理解)架构如上图,分为encoder层和decoder层,下面从输入开始分析每个部分:encoder层1. 对于输入,word-embedding,可以用word2vec,glove算法等,把每个词(汉字的话字会好一点)映射到相同长度的向量。2. 随
2021-04-29 00:47:03
414
原创 2021-04-27学习笔记
《BLEU:a Method for Automatic Evaluation of Machine Translation》基本内容主要讲了神经机器翻译评价指标BLEU值,循序渐进,娓娓道来,很爽内容要点1. 从n-gram引入,n-gram的方法是,直接找候选句出现在参考句中的gram个数,除以总数,举例候选:i can fan.参考:you can fan.1-gram:can fan都在参考句子中出现,为2/32-gram:can fan组合出现 1/2.
2021-04-28 01:23:55
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人