![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
算法笔记(CS224n)
文章平均质量分 63
对于cs224n课程的重刷记录与课程分析
Sheldor369
这个作者很懒,什么都没留下…
展开
-
CS224n自然语言处理算法笔记目录
seq2seq(softmax去预测output beam search)以及词向量表示的训练 CBOW skip-gram。的思路 从ont-hot 到 word2vec。一词多义问题(后续见得不多 这里不做过多了解)(我理解为Tokenizer的的训练过程)RNN神经网络(有点老,暂时不详细了解)NER(命名实体识别)任务。原创 2024-06-18 17:58:03 · 380 阅读 · 0 评论 -
12.2 算法模型三大框架(Encoder-Only、Encoder-Decoder、Decoder-Only)
多个只有Self-Attention和mlp的Transformer层串联起来Encoder-Only 架构,也被称为单向架构,仅包含编码器部分。它主要适用于不需要生成序列的任务,只需要对输入进行编码和处理的单向任务场景,如文本分类、情感分析等。这种架构的代表是 BERT 相关的模型,例如 BERT、RoBERT 和 ALBERT 等。Encoder-Only 架构的核心思想是利用神经网络对输入文本进行编码,提取其特征和语义信息,并将编码结果传递给后续的处理模块。原创 2024-06-19 15:34:06 · 1045 阅读 · 0 评论 -
12.1 Subword方法(BPE、WordPiece、ULM)
与WordPiece一样,Unigram Language Model(ULM)同样使用语言模型来挑选子词。不同之处在于,BPE和WordPiece算法的词表大小都是从小到大变化,属于增量法。ULM算法考虑了句子的不同分词可能,因而能够输出带概率的多个子词分段。与BPE算法类似,WordPiece算法也是每次从词表中选出两个子词合并成新的子词。与BPE的最大区别在于,如何选择两个子词进行合并:BPE选择频数最高的相邻子词合并,而WordPiece选择能够提升语言模型概率最大(似然概率)的相邻子词加入词表。原创 2024-06-19 14:50:35 · 252 阅读 · 0 评论 -
CS224n算法课程笔记1(lesson1-3)
基础知识原创 2024-06-18 17:38:42 · 196 阅读 · 0 评论