任务二笔记

1. 前向传播就是计算出最终的函数值输出，反向传播就是用数据集训练模型更新模型时要计算所需的梯度
2. 做情感分析用LSTM+Attention，或者BERT和百度的Ernie
3. 
4. 
5. 
6. 
7. 
8. 
9. 
10. 
11. 
12. 样本量不大时用CBOW，样本量很大时用Skip-gram
13. 

注意力模型Attention modelinput传到一个双向LSTM当中，再传到第二层的RNN当中。C中对于a的权重alpha，加和为1，由下图可知，通过softmax使其加和为1.语音识别系统（用attention或CTC）语音信号通常要进行预处理变成频率，用频谱表示，但是变换后的输入远远超过原信号（如10秒音频，用10hz采样后变成1000个输入数据），这时可以用CTC把‘the’变成‘ttt__h_eee’，只有空格表示单词的分割，下划线再最后会被去掉。学术界，训练模型要几千小时音频，工业界，需要万-十万级别。
1. seq2seq模型就是有encoder/decoder结构组成的，Encoder-Decoder常应用于输入序列和输出序列的长度是可变的
2.
3. 上图的训练过程中，decoder是有目标词的输入的，每一步都可以看成是一个分类问题。下图是预测的过程，要把decoder中前一步的输出作为下一步的输入
4.
5. encoder常用的单元就是RNN/LSTM，encoder的输出就是hidden state，也是训练时初始化的值，decoder的输入，在MT任务中，decoder的最后一个输出是EOS符号。Decoder可以看作是生成式的LM，即已知前面的词预测下一个词。目标词都要经过embedding变成向量来处理
6.
7. decoder中每次都输入概率最大的单词，这是贪心算法，需要用beam search改进
8.
9. beam search就是维特比算法的贪心形式，不一定得到全局最优解，上图中：beam=2，即每步都选择概率最大的两个结果，然后继续求解，直到得到终止符eos
10. Papers with Code 建立于 2018 年 7 月，初衷是希望能够帮助机器学习的爱好者跟踪最新发布的论文及源代码，快速了解最前沿的技术进展。网站广泛涉及了各类机器学习任务，包括计算机视觉、自然语言处理、医疗、方法（Methodology）、语音、游戏、图、时序、音频、机器人、音乐、推理、计算机代码、知识库、对抗等方面的内容。
11. SOTA，全称「state-of-the-art」，用于描述机器学习中取得某个任务上当前最优效果的模型。此外，即使有类似于 GLEU leaderboard 之类的网站可以看到一些 SOTA 模型，但也只是机器学习庞杂体系下的一小部分。