NLP
文章平均质量分 81
cx_0401
这个作者很懒,什么都没留下…
展开
-
GPT-2
GPT-2论文原创 2022-08-16 10:27:54 · 501 阅读 · 1 评论 -
TableGPT
TableGPT阅读原创 2022-08-03 15:53:53 · 1332 阅读 · 0 评论 -
BERT(李宏毅课程)
BERT自监督学习Bert应用自监督学习不完全等于无监督学习,属于一种无监督学习。隐藏输入bert中含有一个transformer和encoder,然后通过mask或者random的方式替换某个字符,然后希望输出这个替换的字符,训练出对应的参数,形成一个自监督的过程。语句预测预测两个句子是否接在一起Bert应用在应用之前,先pre-train出一个bert出来,然后可以应用经过微调的bert于其他任务上。输入为序列,输出为类别bert上再加上一个linear层经过原创 2021-11-04 22:48:16 · 330 阅读 · 0 评论 -
RNN和LSTM学习笔记
RNN和LSTM学习笔记RNNRNN简介BRNNDRNNLSTMRNNRNN简介参考知乎循环神经网络对于处理连续文本,我们需要联系句子上下文的内容,例如“我 吃 水果”。我们需要将三个词一次输入我们的输入层中,三个词分不同的时刻输入。因此,每个时刻的权值W都是继承上个权值S,而新的S又由输入X和W共同决定,更为详细的图:我们将每次的输出更新,会得到下面这样的公式参考链接很容易看出,RNN存在两个问题,梯度消失和梯度爆炸,这也是LSTM提出的原因。BRNNlink显然我们再看一个句原创 2021-10-29 20:47:19 · 196 阅读 · 0 评论