- 博客(8)
- 收藏
- 关注
RSS订阅原创 2021-05-04学习笔记
今天认识到了在看论文的同时，写代码的重要性主要看了LSTM的参数结构首先是一个类似于MLP形式的LSTM示意图，但注意的是，LSTM很重要的隐藏层之间的横向传播没有展示出来，那么我们知道LSTM输入的时候要求输入数据的格式（sequence_lenth,batch_size,word_embeding)这个具体的过程，可以用下一张图很好的概括注意，下标为时间序列，带括号的上标为sequence长度，每一个符号表示的都是一个fixed size的向量所以，回想我去年自己写的的代
2021-05-05 00:36:10
82
原创 2021-05-02学习笔记
主要做了雅思阅读，下载了批量的论文，供下一个阶段看，搞了许多网盘资源，看了百面机器学习（1/7)百面机器学习学到的新东西：Word2Vec与LDA的区别和联系：主题模型和词嵌入两类方法最大的不同其实在于模型本身，主题模型是一种基于概率图模型的生成式模型，其似然函数可以写成若干条件概率连乘的形式，其中包括需要推测的隐含变量（即主题）；而词嵌入模型一般表达为神经网络的形式，似然函数定义在网络的输出之上，需要通过学习网络的权重以得到单词的稠密向量表示回归模型中，95%数据预测的都很好，但RMSE居高
2021-05-03 01:14:15
171
原创 2021-05-01学习笔记
上午看电影去了，《悬崖之上》真不错！今天摸得鱼多Minimun Error Rate Training in Statistical Machine Translation核心思路是，SMT中，之前的做法是用极大似然估计，对概率模型建模，再用评价指标BLEU等来评价模型的翻译质量但为什么不可以，直接把评价翻译质量的指标带入训练过程，对着指标来优化核心问题：评价指标往往是不连续的，比如翻译错误数，是离散的，不太好用梯度，而且很容易陷入局部最优。于是本文设计了算法，将数据平滑，而且能带.
2021-05-02 01:35:38
97
原创 2021-04-30学习笔记
Sequence to Sequence Learning with Neural Networks主要内容基于LSTM的seq2seq2机器翻译模型内容要点之前的DNN，要求输入输出的维度都是固定的，这显然不适用于seq2seq（上学期我们写情绪分类模型也遇到了）提出LSTM的机器翻译模型，结构很简单，如下图：优点：可以应付单词次序敏感的句子 可以很好的区分主被动语态新发现：如果把输入端的语句输入的顺序直接倒过来，效果会提升不少（猜测是：在反转之前，可能输入端的单词与输
2021-04-30 23:31:39
107
1
原创 2021-04-29学习笔记
今天出去玩了IBM Model1找到一篇好文(4条消息) NLP从入门到放弃_IBM Model1_cpyy103的博客-CSDN博客，附带了例子和程序，明天实现一下程序，深入理解一下如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上一个有趣的思路：(29 封私信 / 82 条消息) 如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？ - 知乎 (zhihu.com)提到的观点中我能理解到的：图像分类过程，cv一直走不出单模态，但是我们人类区别一个物体，甚至是小时候认识一个苹果
2021-04-30 00:14:34
148
原创 2021-04-28学习笔记
《Attention is all you need（1）》（读了一部分，没全读）基本内容讲transformer架构，提出self-attention，结果很棒，细节很多内容要点（主要结合部分csdn博客，知乎文章来配合理解）架构如上图，分为encoder层和decoder层，下面从输入开始分析每个部分：encoder层1. 对于输入，word-embedding，可以用word2vec，glove算法等，把每个词（汉字的话字会好一点）映射到相同长度的向量。2. 随
2021-04-29 00:47:03
414
原创 2021-04-27学习笔记
《BLEU：a Method for Automatic Evaluation of Machine Translation》基本内容主要讲了神经机器翻译评价指标BLEU值，循序渐进，娓娓道来，很爽内容要点1. 从n-gram引入，n-gram的方法是，直接找候选句出现在参考句中的gram个数，除以总数，举例候选：i can fan.参考：you can fan.1-gram：can fan都在参考句子中出现，为2/32-gram：can fan组合出现 1/2.
2021-04-28 01:23:55
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人