![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
thisissally
这个作者很懒,什么都没留下…
展开
-
word2vec
原创 2021-10-09 22:42:27 · 35 阅读 · 0 评论 -
自然语言处理入门Plan
10.9-10.23 Day:16days Task 1: Introduction and Word Vectors (3天) Task 2: Word Vectors and Word Senses (3天) Task 3: Subword Models (3天) Task 4: Contextual Word Embeddings (3天) Task 5: Homework (3天)原创 2021-10-08 11:08:21 · 53 阅读 · 0 评论 -
李宏毅机器学习2021——GPT
自监督学习的典型模型,除了BERT,还有GPT。 GPT的任务本质是预测得到一个seq的一部分,预测下一个字(predict next token)。相当于Transformer的decoder 01-输入begin of sequence,输出第一个字 02-输入BOS和第一个字,输出第二个字 重复以上步骤 注:GPT的模型非常大,微调参数都能耗费很大的计算量。 ...原创 2021-09-18 20:05:38 · 730 阅读 · 0 评论 -
李宏毅机器学习——Self-attention
一、vector set形式的输入 文字输入、声音信号处理、图、分子结构 二、输出的形式 1、每一个向量都有一个对应的一个label 2、完整的序列,对应一个label e.g.Sentiment Analysis 3、让机器自己决定输出多少个labels【seq2seq】 e.g.机器翻译、语音识别 三、Sequence Labeling(输入跟输出数目一样多的状况) 初步想法:将每个seq都放到fully-connected network中,输出 问题:每个vec同等对待,难以区分词性 解决:联系上原创 2021-09-14 17:18:35 · 255 阅读 · 0 评论